DEVKI

Apache Kafka для инженеров данных: DEVKI

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

3х-дневный курс для специалистов, желающих получить и систематизировать знания по использованию Apache Kafka для программирования распределенной обработки потоков событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени.

Курс содержит расширенные сведения по написанию программ работы с распределенным журналом Kafka, использованию его в парадигмах Pub/Sub и Message Queue и обработки потоковых данных с соблюдением best practices.

В теоретической части вы узнаете о наиболее важных API, архитектуре Kafka и внутренних принципах работы основных API Apache Kafka (Producer API, Consumer API, Streams API, Connect API), а также об особенностях реализации Apache Kafka и некоторых интересных концепциях, таких как exactly once semantics, компактируемых логах, Kafka DSL и др.

Выберите форму обучения, чтобы увидеть актуальные даты:

Содержание курса

1. Основные концепции и архитектура Apache Kafka

Архитектура и история возникновения Kafka
Основные термины
Основные API

Изучим основные компоненты и API Kafka, принципы их взаимодействия и killer features.

2. Topic, partition и offset в Apache Kafka

Понятие топика, раздела и смещения
Управление Topic-ами из консоли
Отслеживание последнего прочитанного сообщения
Семантики доставки сообщений (at least once, at most once, exactly once)

Разберемся в анатомии топика, использовании механизмов партиционирования и consumer групп.

3. Producer API

Публикация сообщений с помощью кода

Погрузимся в детальную настройку Kafka Producer-а и best practices на стороне производителя сообщений.

4. Consumer API

Прием сообщений point-to-point
Kafka Broadcasting и группы. Гибкий процесс приема сообщений.

Научимся принимать сообщения и на практике реализуем минимальное приложение, работающее с Kafka.
Познакомимся с концепцией групп и научимся настраивать группы для работы с сообщениями в режиме broadcasting.

5. Streams API

Архитектура Kafka Streams
OLTP операции с Apache Kafka. Основные абстракции Kafka Streams

Изучим общие принципы и приемы в процессе работы с Kafka Streams.

6. Kafka Streams DSL

Kafka Streams DSL — теория и практика
Создание Kafka Streams приложения

Изучим специализированный язык описания потоков данных в Kafka и научимся его использовать.
Напишем базовое Kafka Streams приложение.

7. Processor API

Использование Processor API

Научимся работать на «низком» уровне — создавать топологии и перенаправлять по ним сообщения, использовать расписание.
Напишем приложение с использованием Processor API.

8. Kafka Connect

Архитектура Kafka Connect
Виды Kafka Connector-ов
Готовые Connector и Confluent HUB

Разберемся в том, какие Connector-ы есть в Kafka, создадим собственные Source и Sink коннекторы.

9. Inside Kafka

Особенности хранения данных
Компактируемые топики и retension
Конфигурация и производительность процесса работы с данными в Kafka

Познакомимся с внутренним устройством топиков, партиций и сегментов. Поймем влияние параметров конфигурации на производительность процесса публикации потребления сообщений.

Слушатели

Курс ориентирован на программистов, разработчиков Big Data и специалистов, которые хотят:

изучить базовые методы программного взаимодействия с Kafka (Producer и Consumer API)
научиться использовать Kafka Streams API (как низкоуровневое Processor API, так и декларативный Stream DSL);
понять методы интеграции Apache Kafka с внешними системами, как самописными, так и проприетарными;
узнать практические примеры интеграции;
освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами.

Предварительная подготовка

Начальный опыт работы в Unix
Начальный опыт программирования на Java
Опыт работы с Hadoop Distributed File System (желательно).

Apache Kafka для инженеров данных: DEVKI

ОЦЕНКА КУРСА

РАСПИСАНИЕ ЗАНЯТИЙ

Содержание курса

Слушатели

Предварительная подготовка

СЛУЧАЙНЫЙ ВОПРОС ПО КУРСУ