ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Arenadata Streaming (ADS) - масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.
Целью обучения является формирование знаний и навыков, необходимых для подготовки окружения и установки Arenadata Streaming, Arenadata Streaming Control (ADS Control) и Arenadata Platform Security; по архитектуре и инструментам Apache Kafka; по архитектуре, администрированию и эксплуатации Apache NiFi, а также по обеспечению информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||||||||
Бауманская
После изучения курса вы сможете
- подготовить окружение и установить Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
- понимать архитектуру и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
- работать с платформой Arenadata Streaming;
- понимать архитектуру и выполнять задачи по администрированию и эксплуатации Apache NiFi;
- понимать принципы обеспечения безопасности потоковых данных;
- обеспечить информационную безопасность для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.
Содержание курса
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi
Модуль 3. Архитектура и инструменты Apache Kafka
Модуль 4. Kafka Connect
Модуль 5. Kafka REST Proxy, ksqlDB
Модуль 6. Мультикластерные архитектуры
Модуль 7. Архитектура и инструменты Apache NiFi
Модуль 8. Администрирование и эксплуатация Apache NiFi
Модуль 9. Arenadata Streaming Control (ADS Control)
Модуль 10. Управление информационной безопасностью кластера ADS
- Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
- Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
- Arenadata Streaming Control.
- Arenadata Platform Security.
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi
- Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
- Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Лабораторная работа.
- Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Лабораторная работа.
- Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).
- Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi.
Модуль 3. Архитектура и инструменты Apache Kafka
- Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
- Topics Kafka.
o Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
o Гарантии надежности Kafka (доставка/потребление).
o Лабораторная работа. - Zookeeper. Выбор лидера.
- Producers Kafka.
o Запись сообщений в Kafka, console Producer.
o Настройка Producers. - Consumers Kafka.
o Сonsumer groups, ребалансировка разделов.
o Настройка Consumers.
o Изменение параметров Topics, consumer groups, Partitions.
Модуль 4. Kafka Connect
- Основные понятия и инструменты.
- FileStream Connectors.
- Лабораторная работа.
Модуль 5. Kafka REST Proxy, ksqlDB
- Основные возможности и примеры использования.
Модуль 6. Мультикластерные архитектуры
- Топология мультикластерной репликации.
- Настройка MirrorMaker, Mirror Connectors.
Модуль 7. Архитектура и инструменты Apache NiFi
- Обзор Apache NiFi.
o Графический интерфейс пользователя.
o Управление потоковой обработкой данных.
o Процессоры и их назначение.
o Лабораторная работа. - Создание, настройка и управление процессорами, процессорными группами.
- Flow Files и атрибуты.
- Подключение источников (File, Apache Kafka, СУБД (ADB)).
o Лабораторная работа. - FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
Модуль 8. Администрирование и эксплуатация Apache NiFi
- Инструменты мониторинга и администрирования.
- Горизонтальное масштабирование и отказоустойчивость NiFi.
- Управление репликацией и балансировкой нагрузки.
- Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 9. Arenadata Streaming Control (ADS Control)
- Планирование кластера, настройка параметров окружения и установка, обзор UI.
- Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).
o Mirror Maker connector.
o CDC Debezium.
o Kafka ADB Connectors.
o Лабораторная работа.
Модуль 10. Управление информационной безопасностью кластера ADS
- Установка и настройка Arenadata Platform Security (ADPS).
o Основные этапы установки.
o Подготовка инфраструктуры.
o Распределение компонент ADPS.
o Лабораторная работа. - Керберизация ADS/ADPS с MS Active Directory. Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров.
o Лабораторная работа. - Настройка LDAP sync source для Ranger User synchronizer.
o Лабораторная работа. - Настройка LDAP/AD auth для Ranger Admin.
o Лабораторная работа. - Присоединение узлов к Active Directory (SSSD/realmd).
o Лабораторная работа. - Настройка SSL ADS и ADPS.
o Сертификаты и Центры сертификации.
o Шифрование данных. Основные этапы настройки SSL.
o Лабораторная работа. - Настройка авторизации.
o Apache Kafka (ACL, Apache Ranger Plugin).
o Apache NiFi (based authorizer, Apache Ranger Plugin).
o Лабораторная работа.
Слушатели
- системные администраторы;
- специалисты по информационной безопасности;
- разработчики в области больших данных;
- IT-специалисты, которые хотят расширить свои знания и умения в области администрирования, обслуживания и обеспечения безопасности кластеров Apache Kafka и Apache NiFi платформы Arenadata Streaming.
Предварительная подготовка
- знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
- опыт работы с SQL.