ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
3-хдневный практический курс по эксплуатации кластера Apache NiFi для специалистов, отвечающих за создание, сопровождение, администрирование и настройку обработки больших данных в озере данных (Data Lake) на базе кластера Apache NiFi.
Данный курс составлен по материалам курсов «Apache NiFi для инженеров данных» и «Apache NiFi администратор». Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете некоторые особенности управления кластером NiFi. Преподаватель курса администрирования Apache NiFi подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности. В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров На практике вы развернете собственный кластер Apache NiFi, настроив его конфигурацию, создадите свои сценарии и схемы потоковой обработки информации, реализовав собственный конвейер данных (data pipeline). Соотношение теории к практике: 50/50.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
После изучения курса вы сможете
- понять, что такое Apache NiFi;
- уяснить отличия NiFi и MiniFi;
- освоить принципы потоковой обработки данных в экосистеме Hadoop;
- научиться устанавливать, настраивать и поддерживать кластер NiFi;
- освоить методы администрирования кластера NiFi;
- настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
- интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами.
Содержание курса
ДЕНЬ1
1. Введение в Apache NiFi
2. Создание DataFlow
ДЕНЬ 2
3. Программная обработка FlowFile
4. Работа с Records и Local State
ДЕНЬ 3
5. Интеграция и масштабирование
6. Задачи администрирования NiFi
1. Введение в Apache NiFi
- Архитектура Hadoop Data Flow
- Архитектура решения и ключевые концепции Apache NiFi:
- Принципы потоковой обработки данных
- Data Lineage и Data Provenance (Data Provenance Events)
- Функционал NiFi по управлению потоковой обработкой данных:
- гарантированная доставка
- управление каналом (буферизация, pressure)
- QoS
- версионность
2. Создание DataFlow
- Создание dataflow:
- работа с атрибутами FlowFile
- маршрутизация
- source и sink
- Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
- Мониторинг dataflow
- Параметризация dataflow
ДЕНЬ 2
3. Программная обработка FlowFile
- Использование скриптов в NiFi:
- работа с атрибутами и данными FlowFile
- программная маршрутизация FlowFile
- Сбор данных в месте их производства с помощью Apache minifi
4. Работа с Records и Local State
- Controlling service и работа с Records и State:
- формат FlowFile и его преобразование
- State Manager и его использование
- Reporting tasks и обработка результатов
- Происхождение данных:
- анализ provenance и lineage
- Apache NiFi Registry версионность и поддержка production deployment
ДЕНЬ 3
5. Интеграция и масштабирование
- Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
- Доступные расширения и готовые «из коробки» процессоры и коннекторы
- Возможности интеграции кластера NiFi(consumer/provider) с Kafka
- Интеграция Apache Kafka, NiFi
- Типовые сценарии/схемы потоковой обработки данных
- Процессорные группы (Remote Processor Group)
6. Задачи администрирования NiFi
- Установка и настройка кластера Apache NiFi
- Управление кластером NiFi
- Оптимизация DataFlow
- Инструменты мониторинга и уведомлений NiFi
- Безопасность для Apache NiFi (SSL, Аутентификация LDAP)
Слушатели
Инженеры данных, cистемные администраторы, системные архитекторы,
разработчики Hadoop, желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера
Apache NiFi.
Предварительная подготовка
- Знание базовых команд Linux(опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
- Начальный опыт работы с Hadoop или NiFi