ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Arenadata Streaming (ADS) - масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.
Целью обучения является формирование представления об архитектуре и функционировании кластера Apache Kafka, включая ключевые концепции и объекты, такие как Consumers, Producers и Topics, а также практические навыки работы с инструментами для разработки и сборки кода на языке Java в IDE для работы с Kafka API’s, и настройки обмена данных кластера Kafka и внешних систем с помощью Kafka Connect и создания собственных коннекторов.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||
После изучения курса вы сможете
- понимать архитектуру Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
- архитектуру и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
- использовать Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
- понимать принципы подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
- понимать принципы работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
- использовать средства IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
- использовать Schema Registry для управления схемами и обеспечения совместимости;
- настраивать Kafka Connect и создавать собственные плагин-коннекторы;
- использовать Debezium и MirrorMaker для репликации данных;
- интегрировать и применять Kafka REST Proxy и KSQL DB для обработки потоков данных;
- понимать возможности Kafka Streams API.
Содержание курса
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control
Модуль 3. Архитектура и инструменты Apache Kafka
Модуль 4. Kafka Connect
Модуль 5. ksqlDB
Модуль 6. Kafka Streaming API
- Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
- Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
- Arenadata Streaming Control.
- Arenadata Platform Security.
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control
- Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
- Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
- Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.
- Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.
Модуль 3. Архитектура и инструменты Apache Kafka
- Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
- Topics Kafka.
o Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
o Настройка программных инструментов: Java IDE (IntelliJ IDEA CE), Build Tool (Apache Maven).
o AdminClient API. Примеры программного использования. - Гарантии надежности Kafka (доставка/потребление).
- Контроллер Kafka. ZooKeeper/KRaft.
- Producers Kafka.
o Запись сообщений в Kafka, console Producer.
o Настройка Producers.
o Producer API. Пример настройки Auth. - Consumers Kafka.
o Сonsumer groups, ребалансировка разделов.
o Настройка Consumers.
o Consumer API. Пример настройки Auth. - Schema Registry.
o Архитектура. Типы схем. Lifecycle. Schema compatibility.
o Пример эволюции схем (Kafka Java Clients). - Kafka REST Proxy.
o Основные возможности и примеры использования.
Модуль 4. Kafka Connect
- Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
- Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
- Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки.
- CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink.
- SMT (Single Message Transforms). Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.
Модуль 5. ksqlDB
- Основные возможности и примеры использования. Управление потоками.
Модуль 6. Kafka Streaming API
- Основные понятия, архитектура и инструменты.
- Пример приложения Kafka Streams c использованием SpringBoot API (Java).
Слушатели
- начинающие разработчики;
- инженеры данных;
- архитекторы;
- IT-специалисты, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming.
Предварительная подготовка
- опыт в программирования на современном языке (предпочтительно Java);
- знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
- опыт работы с SQL.