ADS-A

Эксплуатация Arenadata Streaming

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Целью обучения является формирование знаний и навыков, необходимых для подготовки окружения и установки Arenadata Streaming, Arenadata Streaming Control (ADS Control) и Arenadata Platform Security; по архитектуре и инструментам Apache Kafka; по архитектуре, администрированию и эксплуатации Apache NiFi, а также по обеспечению информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

подготовить окружение и установить Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
понимать архитектуру и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
работать с платформой Arenadata Streaming;
понимать архитектуру и выполнять задачи по администрированию и эксплуатации Apache NiFi;
понимать принципы обеспечения безопасности потоковых данных;
обеспечить информационную безопасность для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.

Содержание курса

Arenadata Streaming (ADS) - масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.

1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
Arenadata Streaming Control.
Arenadata Platform Security.

2. Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Лабораторная работа.

Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Лабораторная работа.

Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).
Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi.

3. Архитектура и инструменты Apache Kafka

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.
Topics Kafka.
- Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
- Гарантии надежности Kafka (доставка/потребление).
- Лабораторная работа.

Zookeeper. Выбор лидера.
Producers Kafka.
- Запись сообщений в Kafka, console Producer.
- Настройка Producers.

Consumers Kafka.
- Сonsumer groups, ребалансировка разделов.
- Настройка Consumers.
- Изменение параметров Topics, consumer groups, Partitions.

4. Kafka Connect

Основные понятия и инструменты.
FileStream Connectors.
Лабораторная работа.

5. Kafka REST Proxy, ksqlDB

Основные возможности и примеры использования.

6. Мультикластерные архитектуры

Топология мультикластерной репликации.
Настройка MirrorMaker, Mirror Connectors.

7. Архитектура и инструменты Apache NiFi

Обзор Apache NiFi.
- Графический интерфейс пользователя.
- Управление потоковой обработкой данных.
- Процессоры и их назначение.
- Лабораторная работа.

Создание, настройка и управление процессорами, процессорными группами.
Flow Files и атрибуты.
Подключение источников (File, Apache Kafka, СУБД (ADB)).
- Лабораторная работа.

FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.

8. Администрирование и эксплуатация Apache NiFi

Инструменты мониторинга и администрирования.
Горизонтальное масштабирование и отказоустойчивость NiFi.
Управление репликацией и балансировкой нагрузки.
Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

9. Arenadata Streaming Control (ADS Control)

Планирование кластера, настройка параметров окружения и установка, обзор UI.
Основные операции ADS Control: управление и добавление коннекторов (FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).
- Mirror Maker connector.
- CDC Debezium.
- Kafka ADB Connectors.
- Лабораторная работа.

10. Управление информационной безопасностью кластера ADS

Установка и настройка Arenadata Platform Security (ADPS).
- Основные этапы установки.
- Подготовка инфраструктуры.
- Распределение компонент ADPS.
- Лабораторная работа.

Керберизация ADS/ADPS с MS Active Directory. Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров.
- Лабораторная работа.

Настройка LDAP sync source для Ranger User synchronizer.
- Лабораторная работа.

Настройка LDAP/AD auth для Ranger Admin.
- Лабораторная работа.

Присоединение узлов к Active Directory (SSSD/realmd).
- Лабораторная работа.

Настройка SSL ADS и ADPS.
- Сертификаты и Центры сертификации.
- Шифрование данных. Основные этапы настройки SSL.
- Лабораторная работа.

Настройка авторизации.
- Apache Kafka (ACL, Apache Ranger Plugin).
- Apache NiFi (based authorizer, Apache Ranger Plugin).
- Лабораторная работа.

Слушатели

системные администраторы;
специалисты по информационной безопасности;
разработчики в области больших данных;
IT-специалисты, которые хотят расширить свои знания и умения в области администрирования, обслуживания и обеспечения безопасности кластеров Apache Kafka и Apache NiFi платформы Arenadata Streaming.

Предварительная подготовка

знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
опыт работы с SQL.