ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Arenadata Streaming (ADS) - масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.
Программа «Эксплуатация Arenadata Streaming (NiFi)» будет полезна дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение программы поможет получить практические навыки по развертыванию, администрированию и настройке безопасности Apache NiFi в составе кластера Arenadata Streaming.
Программа будет полезна как начинающим, так и опытным специалистам, стремящимся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных – Apache NiFi в составе Arenadata Streaming.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||
Бауманская
Содержание курса
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi
Модуль 3. Архитектура и инструменты Apache NiFi
Модуль 4. Администрирование и эксплуатация Apache NiFi
Модуль 5. Работа с данными и маршрутизация в Apache NiFi
Модуль 6. Управление информационной безопасностью кластера ADS (NiFi)
- Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
- Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
- Arenadata Streaming Control.
- Arenadata Platform Security.
Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi
- Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
- Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
- Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
- Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
- Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.
Модуль 3. Архитектура и инструменты Apache NiFi
- Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
- Создание, настройка и управление процессорами, процессорными группами.
- Flow Files и атрибуты.
- Подключение источников (File, Apache Kafka, СУБД).
- FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
Модуль 4. Администрирование и эксплуатация Apache NiFi
- Инструменты мониторинга и администрирования: (Reporting Tasks, Site-to-Site, REST API, nifi-toolkit).
- Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей.
- Управление репликацией и Метадата-driven подход.
- Apache NiFi Registry версионность и поддержка production deployment (CI/CD).
Модуль 5. Работа с данными и маршрутизация в Apache NiFi
- Использование процессоров для обработки данных.
- Шаблоны маршрутизации.
- Основы Expression Language.
Модуль 6. Управление информационной безопасностью кластера ADS (NiFi)
- Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
- Керберизация ADS/ADPS с MS Active Directory.
- Настройка LDAP sync source для Ranger User synchronizer.
- Настройка LDAP/AD auth для Ranger Admin.
- Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
- Настройка авторизации: Apache NiFi (based authorizer, Apache Ranger Plugin). Настройка политик (processor groups, processors, queues и др.). Параметры безопасности процессоров.
Слушатели
- дата-инженеры;
- системные администраторы;
- специалисты по информационной безопасности;
- разработчики в области больших данных;
- IT-специалисты, которые хотят повысить свою квалификацию в области управления ETL-процессами потоковыми данными и обеспечения безопасности кластеров Apache NiFi в составе платформы Arenadata Streaming.
Предварительная подготовка
- знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
- опыт работы с SQL.