ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Курс проводится 5 дней (с 10.00 до 14.00 / 5 ак. часов в день).
Курс для специалистов, желающих получить и систематизировать знания по использованию Apache Kafka для программирования распределенной обработки потоков событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по написанию программ работы с распределенным журналом Kafka, использованию его в парадигмах Pub/Sub и Message Queue и обработки потоковых данных с соблюдением best practices. В теоретической части вы узнаете о наиболее важных API, архитектуре Kafka и внутренних принципах работы основных API Apache Kafka (Producer API, Consumer API, Streams API, Connect API), а также об особенностях реализации Apache Kafka и некоторых интересных концепциях, таких как exactly once semantics, компактируемых логах, Kafka DSL и др.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||||||||
Бауманская
Содержание курса
1. Основные концепции и архитектура Apache Kafka
2. Topic, partition и offset в Apache Kafka
3. Producer API
4. Consumer API
Познакомимся с концепцией групп и научимся настраивать группы для работы с сообщениями в режиме broadcasting.
5. Streams API
6. Kafka Streams DSL
Напишем базовое Kafka Streams приложение.
7. Processor API
Напишем приложение с использованием Processor API.
8. Kafka Connect
9. Inside Kafka
- Архитектура и история возникновения Kafka
- Основные термины
- Основные API
2. Topic, partition и offset в Apache Kafka
- Понятие топика, раздела и смещения
- Управление Topic-ами из консоли
- Отслеживание последнего прочитанного сообщения
- Семантики доставки сообщений (at least once, at most once, exactly once)
3. Producer API
- Публикация сообщений с помощью кода
4. Consumer API
- Прием сообщений point-to-point
- Kafka Broadcasting и группы. Гибкий процесс приема сообщений.
Познакомимся с концепцией групп и научимся настраивать группы для работы с сообщениями в режиме broadcasting.
5. Streams API
- Архитектура Kafka Streams
- OLTP операции с Apache Kafka. Основные абстракции Kafka Streams
6. Kafka Streams DSL
- Kafka Streams DSL — теория и практика
- Создание Kafka Streams приложения
Напишем базовое Kafka Streams приложение.
7. Processor API
- Использование Processor API
Напишем приложение с использованием Processor API.
8. Kafka Connect
- Архитектура Kafka Connect
- Виды Kafka Connector-ов
- Готовые Connector и Confluent HUB
9. Inside Kafka
- Особенности хранения данных
- Компактируемые топики и retension
- Конфигурация и производительность процесса работы с данными в Kafka
Слушатели
Курс ориентирован на программистов, разработчиков Big Data и специалистов, которые хотят:
- изучить базовые методы программного взаимодействия с Kafka (Producer и Consumer API)
- научиться использовать Kafka Streams API (как низкоуровневое Processor API, так и декларативный Stream DSL);
- понять методы интеграции Apache Kafka с внешними системами, как самописными, так и проприетарными;
- узнать практические примеры интеграции;
- освоить лучшие практики (best practices) по реализации процессов автоматического обмена данными между Apache Kafka и внешними системами.
Предварительная подготовка
- Начальный опыт работы в Unix
- Начальный опыт программирования на Java
- Опыт работы с Hadoop Distributed File System (желательно).