ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
2-хдневный курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных. Курс нацелен на вопросы использования возможностей Apache NiFi для построения гибкого потока обработки данных, включая программную обработку данных, работу со слабо-структурированными данными и использование локального состояния в соответствии с лучшими практиками (best practices).
Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете особенности подхода НайФай к построению конвейеров обработки данных. Преподаватель курса “Apache NiFi для инженеров данных” подробно объяснит все тонкости настройки, мониторинга и прикладного использования этой Big Data платформы с тем, чтобы вы могли самостоятельно работать с ней по окончании курса. На практике вы реализуете собственный конвейер обработки потока данных с помощью Apache NiFi, научитесь работать с атрибутами и содержимым flowfile, сможете маршутизировать потоки данных, конвертировать «сырые» данные Raw-формата в полу-структурированные, анализировать их и использовать локальное хранилище состояний процессоров Apache NiFi.
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||||||||||||
Бауманская Содержание курса
1. Введение и архитектура Apache NiFi
- Введение в NiFi
- Архитектура и основные абстракции. DataFlow. FlowFile. Processor. Data Provenance и Lineage
- Наш первый dataflow: работа с атрибутами flowfile, маршрутизация, source и sink
- Репозитории, анатомия FlowFile и процессоры
- Мониторинг dataflow
- Параметризация dataflow: переменные и параметры
- Использование скриптов в NiFi: работа с атрибутами и данными flowfile, программная маршрутизация flowfile
- Сбор данных в месте их производства с помощью Apache minifi
- Controlling service и работа с Records и State: формат flowfile и его преобразование, State Manager и его использование
- Reporting tasks и обработка результатов
- Происхождение данных: анализ provenance и lineage
Слушатели
Дата-инженеры и специалисты по данным, которые хотят изучить необходимый теоретический минимум по Apache NiFi, чтобы понять основные концепции платформы маршрутизации, преобразования и доставки данных из множества сторонних систем, а также узнать особенности подхода НайФай к построению конвейеров обработки данных.
Предварительная подготовка
Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)