KAFKA

Администрирование кластера Kafka: KAFKA

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

3-хдневный практический курс по установке и настройке кластера Apache Kafka, распределенной потоковой обработке событий (Event Stream Processing), конфигурации безопасности Kerberos, интеграции с Apache NiFi, Spark, Flume, Zookeeper.

Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этого брокера сообщений и узнаете некоторые особенности управления кластером Кафка. Преподаватель курса администрирования Apache Kafka подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.

На практике вы развернете собственный кластер Apache Kafka, настроив его конфигурацию, средства обеспечения информационной безопасности (cybersecurity) и инструменты мониторинга.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

понять, что такое Apache Kafka;
устанавливать, настраивать и поддерживать кластера Кафка и Zookeeper;
освоить методы администрирования кластера Kafka (Confluent);
изучить настройки безопасности для Apache Kafka с использованием SSL, SASL, Kerberos;
настраивать мониторинг и оптимизацию очереди сообщений Kafkaс использованием практических примеров реализации;
интегрировать Apache Кафка с другими Big Data фреймворками (Hadoop, Spark, NiFi, Flume) и внешними системами.

Содержание курса

1. Введение в Kafka

Что такое Apache Kafka?
Сценарии использования Kafka
Компоненты Kafkaи Kafka экосистемы
Архитектура Kafka
Кластер Zookeeper

2. Основные концепции Kafka

Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
Брокеры (Brokers): Развертывание. Конфигурация Multibroker
Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

Требования по установке кластера Kafka
Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка кластера Kafka без использования Zookeeper KIP-500
Установка и настройка кластера Kafka: Планирование установки и sizingкластера Kafka.
Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
Конфигурация Listeners. Отказоустойчивость кластера Kafka.
Установка кластера Kafkaна AWS

4. Базовые операции в Apache Kafka

Операции с Топиками (Topic)
Публикация данных с консольного Producer
Получение данных с консольного Consumer
Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

Оптимизация производительности компонент кластера
Масштабирование кластера
Балансировка разделов(partition) и использование Partition Reassignment Tools
Best Practices Kafka/Confluent
Мониторинг кластера Kafka
Настройка мониторинга кластера Kafkaс использованием Prometheus + Grafana

6. Интеграция с Apache Kafka (обзорно)

Использование Apache NiFi
Интеграция Apache Flumeс Kafka
Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
Confluent REST Proxy. Confluent Schema Registry (обзорно)
Репликация кластера с использованием Mirror Maker 2

8. Безопасность в Kafka

Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLSдля Kafka кластера и
клиентов
Аутентификация SSL/SASL
Аутентификация Kerberos: Настройка Kerberos. Keytabsи principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
Авторизация в Kafka
Управление списками управления доступом (ACL)

Слушатели

Системные администраторы, разработчики Big Data систем и DevOps-инженеры желающие изучить методы администрирования и настройки кластера Apache Kafka; настройку безопасности Kafka с SSL и Kerberos; примеры интеграции; мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров.

Предварительная подготовка

Уверенное знание базовых команд Linux(опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
Базовые знания настройки компонент безопасности (Kerberos, PKI, LDAP)