ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
2-хдневный курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных. Курс содержит расширенные сведения по установке распределенного кластера Apache NiFi, администрированию и интеграции этой платформы с другими технологиями Big Data в соответствии с лучшими практиками (best practices).
Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете некоторые особенности управления кластером НайФай. Преподаватель курса администрирования Apache NiFi подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности. На практике вы развернете собственный кластер Apache NiFi, настроив его конфигурацию, создадите свои сценарии и схемы потоковой обработки информации, реализовав собственный конвейер данных (data pipeline).
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
После изучения курса вы сможете
- понять, что такое Apache NiFi;
- уяснить отличия NiFi и MiniFi;
- освоить принципы потоковой обработки данных в экосистеме Hadoop;
- научиться устанавливать, настраивать и поддерживать кластер NiFi;
- освоить методы администрирования кластера NiFi;
- настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
- интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами.
Содержание курса
1. Введение в Apache NiFi
2. Администрирование NiFi
3. Интеграция и масштабирование
- Архитектура Hadoop Data Flow
- Архитектура решения и ключевые концепции Apache NiFi:
- Принципы потоковой обработки данных
- FlowFile
- processor
- connector
- FlowFile Repository
- Content Repository
- Provenance Repository
- Data Lineageи Data Provenance (Data Provenance Events)
- Функционал NiFiпо управлению потоковой обработкой данных:
- гарантированная доставка
- управление каналом (буферизация, pressure)
- QoS
- версионность
2. Администрирование NiFi
- Установка и настройка кластера Apache NiFi
- Управление кластером NiFi
- Создание NiFi DataFlow
- Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
- Процессорные группы (Remote Processor Group)
- Использование NiFiшаблонов
- Оптимизация DataFlow
- Инструменты мониторинга и уведомлений NiFi
- Apache NiFi Registryверсионность и поддержка production deployment
3. Интеграция и масштабирование
- Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
- Доступные расширения и готовые «из коробки» процессоры и коннекторы
- Возможности интеграции кластера NiFi(consumer/provider) с Kafka
- Apache Nifi vs MiniFi
- Интеграция Apache Kafka, NiFi, MiNiFi
- Типовые сценарии/схемы потоковой обработки данных
Слушатели
Специалисты по администрированию и сопровождению потоков данных с использованием Apache NiFi, архитекторы и разработчики.
Предварительная подготовка
- Знание базовых команд Linux(опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
- Начальный опыт работы с Hadoop