ADS-DEV-Kafka

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Arenadata Streaming (ADS) - масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.

Целью обучения является формирование представления об архитектуре и функционировании кластера Apache Kafka, включая ключевые концепции и объекты, такие как Consumers, Producers и Topics, а также практические навыки работы с инструментами для разработки и сборки кода на языке Java в IDE для работы с Kafka API’s, и настройки обмена данных кластера Kafka и внешних систем с помощью Kafka Connect и создания собственных коннекторов.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

понимать архитектуру Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
архитектуру и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
использовать Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
понимать принципы подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
понимать принципы работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
использовать средства IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
использовать Schema Registry для управления схемами и обеспечения совместимости;
настраивать Kafka Connect и создавать собственные плагин-коннекторы;
использовать Debezium и MirrorMaker для репликации данных;
интегрировать и применять Kafka REST Proxy и KSQL DB для обработки потоков данных;
понимать возможности Kafka Streams API.

Содержание курса

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
Arenadata Streaming Control.
Arenadata Platform Security.

Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka).
Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.
Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.

Модуль 3. Архитектура и инструменты Apache Kafka

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
Topics Kafka.
o   Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).
o   Настройка программных инструментов: Java IDE (IntelliJ IDEA CE), Build Tool (Apache Maven).
o   AdminClient API. Примеры программного использования.
Гарантии надежности Kafka (доставка/потребление).
Контроллер Kafka. ZooKeeper/KRaft.
Producers Kafka.
o   Запись сообщений в Kafka, console Producer.
o   Настройка Producers.
o   Producer API. Пример настройки Auth.
Consumers Kafka.
o   Сonsumer groups, ребалансировка разделов.
o   Настройка Consumers.
o   Consumer API. Пример настройки Auth.
Schema Registry.
o Архитектура. Типы схем. Lifecycle. Schema compatibility.
o Пример эволюции схем (Kafka Java Clients).
Kafka REST Proxy.
o Основные возможности и примеры использования.

Модуль 4. Kafka Connect

Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).
Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).
Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки.
CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink.
SMT (Single Message Transforms). Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.

Модуль 5. ksqlDB

Основные возможности и примеры использования. Управление потоками.

Модуль 6. Kafka Streaming API

Основные понятия, архитектура и инструменты.
Пример приложения Kafka Streams c использованием SpringBoot API (Java).

Слушатели

начинающие разработчики;
инженеры данных;
архитекторы;
IT-специалисты, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming.

Предварительная подготовка

опыт в программирования на современном языке (предпочтительно Java);
знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
опыт работы с SQL.