ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Курс представляет собой преимущественно практический тренинг по установке и настройке кластера Apache Kafka, распределенной потоковой обработке событий (Event Stream Processing), конфигурации безопасности Kerberos, интеграции с Apache NiFi, Spark, Flume, Zookeeper.
Прежде всего курс предназначен для специалистов, желающих получить и систематизировать свои знания по использованию Apache Kafka для организации распределенной потоковой обработке событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по установке распределенного кластера Apache Kafka, настройке безопасности Kerberos, интеграции с другими продуктами, мониторингу и оптимизации Kafka в соответствии с «best practices».
РАСПИСАНИЕ ЗАНЯТИЙ
|
||||||||||||||||||||||||||
Бауманская Содержание курса
- Введение в Apache Kafka
- Что такое Apache Kafka?
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka
- Кластер Zookeeper
- Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции; сравнение Hadoop и Spark.
- Основные концепции Apache Kafka
- Как работает Kafka: топики (Topics) и партиции (Partitions); репликация данных.
- Брокеры (Brokers): развертывание; конфигурация Multibroker.
- Поставщики данных (Producers): типы партиций; синхронные и асинхронные Producers; параметры конфигурации. Java API.
- Потребители данных (Consumers): очереди Consumers; широковещание (Broadcasting); особенности использования RDD; RDD lineage.
- Установка кластера Apache Kafka
- Требования по установке кластера Kafka.
- Установка и настройка кластера Zookeeper: настройка кворума; конфигурация сервисов и файловой системы; оптимизация и отказоустойчивость Zookeeper.
- Установка и настройка кластера Kafka: планирование установки и sizing кластера Kafka; типовые проблемы при установке; запуск и первоначальное конфигурирование Kafka; конфигурация Listeners; отказоусточивость кластера Kafka; Kafka-менеджер.
- Установка кластера Kafka на AWS.
- Базовые операции в Apache Kafka
- Операции с топиками (Topic)
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer
- Пользовательские интерфейсы топика Kafka (Topics UI)
- Написание кода producer
- Написание кода consumer
- Альтернатива RDDs.
- Оптимизация кластера Apache Kafka
- Оптимизация производительности компонентов кластера
- Масштабирование кластера
- Балансировка разделов (partition) и использование Partition Reassignment Tools
- Best Practices
- Мониторинг кластера Kafka.
- Интеграция с Apache Kafka
- Интеграция Spark и Spark Streaming
- Интеграция потоковой обработки Spark Streaming и Kafka
- Использование Apache NiFi
- Интеграция Apache Flume с Kafka
- Расширенная конфигурация кластера Apache Kafka
- Расширенная конфигурация топиков (Topic): изменение конфигурации топиков; Sizing (количество партиций и фактор репликации); сегменты и индексы; политика очистки логов (Log Cleanup Policy); сжатие и консолидация данных в логах.
- Пользовательский интерфейс Landoop Kafka Topics
- Confluent REST Proxy
- Настройка Confluent Schema Registry
- Архитектура Kafka Connect.
- Безопасность в Kafka
- Шифрование SSL: установка центра сертификатов (CA); настройка SSL для Kafka кластера и клиентов.
- Аутентификация SSL/SASL
- Аутентификация Kerberos: настройка Kerberos; Keytabs и principals; настройка кластера Kafka и клиентов для поддержки Kerberos.
- Авторизация в Kafka
- Управление списками управления доступом (ACL).
Слушатели
Данный курс ориентирован на специалистов, желающих изучить методы распределенной обработки очереди сообщений Kafka с использованием практических примеров реализации.
Предварительная подготовка
- Начальный опыт работы в Unix/SQL;
- Начальный опыт программирования (Java).