NIFI3

Эксплуатация Apache NiFi: NIFI3

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

3-хдневный практический курс по эксплуатации кластера Apache NiFi для специалистов, отвечающих за создание, сопровождение, администрирование и настройку обработки больших данных в озере данных (Data Lake) на базе кластера Apache NiFi.

Данный курс составлен по материалам курсов «Apache NiFi для инженеров данных» и «Apache NiFi администратор».

Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете некоторые особенности управления кластером NiFi. Преподаватель курса администрирования Apache NiFi подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров

На практике вы развернете собственный кластер Apache NiFi, настроив его конфигурацию, создадите свои сценарии и схемы потоковой обработки информации, реализовав собственный конвейер данных (data pipeline). Соотношение теории к практике: 50/50.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

понять, что такое Apache NiFi;
уяснить отличия NiFi и MiniFi;
освоить принципы потоковой обработки данных в экосистеме Hadoop;
научиться устанавливать, настраивать и поддерживать кластер NiFi;
освоить методы администрирования кластера NiFi;
настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами.

Содержание курса

ДЕНЬ1
1. Введение в Apache NiFi

Архитектура Hadoop Data Flow
Архитектура решения и ключевые концепции Apache NiFi:
- Принципы потоковой обработки данных
Data Lineage и Data Provenance (Data Provenance Events)
Функционал NiFi по управлению потоковой обработкой данных:
- гарантированная доставка
- управление каналом (буферизация, pressure)
- QoS
- версионность

2. Создание DataFlow

Создание dataflow:
- работа с атрибутами FlowFile
- маршрутизация
- source и sink
Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
Мониторинг dataflow
Параметризация dataflow

ДЕНЬ 2
3. Программная обработка FlowFile

Использование скриптов в NiFi:
- работа с атрибутами и данными FlowFile
- программная маршрутизация FlowFile
Сбор данных в месте их производства с помощью Apache minifi

4. Работа с Records и Local State

Controlling service и работа с Records и State:
- формат FlowFile и его преобразование
- State Manager и его использование
Reporting tasks и обработка результатов
Происхождение данных:
- анализ provenance и lineage
Apache NiFi Registry версионность и поддержка production deployment

ДЕНЬ 3
5. Интеграция и масштабирование

Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
Доступные расширения и готовые «из коробки» процессоры и коннекторы
Возможности интеграции кластера NiFi(consumer/provider) с Kafka
Интеграция Apache Kafka, NiFi
Типовые сценарии/схемы потоковой обработки данных
Процессорные группы (Remote Processor Group)

6. Задачи администрирования NiFi

Установка и настройка кластера Apache NiFi
Управление кластером NiFi
Оптимизация DataFlow
Инструменты мониторинга и уведомлений NiFi
Безопасность для Apache NiFi (SSL, Аутентификация LDAP)

Слушатели

Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop, желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi.

Предварительная подготовка

Знание базовых команд Linux(опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
Начальный опыт работы с Hadoop или NiFi