ADS-DEV-NiFi

Основы работы с Apache NiFi на базе платформы Arenadata Streaming

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Arenadata Streaming (ADS) - масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Apache Kafka и Apache NiFi.

Программа «Основы работы с Apache NiFi на базе платформы Arenadata Streaming» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

подготовить окружение и установить Arenadata Streaming (ZooKeeper, Apache NiFi);
понимать архитектуру и инструменты Apache NiFi;
выполнять задачи по администрированию и эксплуатации Apache NiFi;
работать с данными в Apache NiFi;
выполнять кастомизацию Apache NiFi;
получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming.

Содержание курса

Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Prosperity, Arenadata Cluster Manager.
Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
Arenadata Streaming Control.
Arenadata Platform Security.

Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.
Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.
Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.
Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).
Мониторинг ADS (Prometheus): архитектура сервиса.

Модуль 3. Архитектура и инструменты Apache NiFi

Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
Создание, настройка и управление процессорами, процессорными группами.
Flow Files и атрибуты.
FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.
Content/Record-oriented подход.

Модуль 4. Администрирование и эксплуатация Apache NiFi

Инструменты мониторинга и администрирования.
Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей. Производительность и оптимизация потоков данных.
Использование метадата-driven подхода для разработки потоков.
Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

Модуль 5. Работа с данными и маршрутизация в Apache NiFi

Использование процессоров для обработки данных.
Работа с метаданными и контентом flowfiles.
Основы Expression Language.
Параметризация DataFlow: параметры, провайдеры.
Сериализация и десериализация данных. Схемы данных. AVRO-схемы.
Подключение источников (File, Apache Kafka, СУБД, S3, HDFS, возможные Endpoints).
Работа с текстом, JSON, XML (jolt, jslt, xslt).
Трансформация и фильтрация данных (ConvertRecord, UpdateRecord, QueryRecord, jolt-transform-record, LookupRecord).
Разделение, объединение и агрегация данных.
Использование процессоров для маршрутизации.
Обработка ошибок.
Работа с ADB, трансформация и загрузка (ETL).

Модуль 6. Кастомизация Apache NiFi

Кастомизация и создание Extensions. Создание собственного процессора (преимущества/недостатки).
Использование скриптов.
Разработка скрипта трансформации (Scripted-transform-record).

Слушатели

системные администраторы;
специалисты по информационной безопасности;
разработчики в области больших данных;
IT-специалисты, которые хотят расширить свои знания и умения в области администрирования, обслуживания и обеспечения безопасности кластеров Apache Kafka и Apache NiFi платформы Arenadata Streaming.

Предварительная подготовка

знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
опыт работы с SQL.