AIRF

Data Pipeline на Apache Airflow и Apache Hadoop: AIRF

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

3-хдневный практический курс Data Pipeline на Apache Airflow и Apache Hadoop для аналитиков и инженеров данных, архитекторов и специалистов по настройке и сопровождению потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

понять, что такое Apache Airflow;
уяснить отличия Airfow от NiFi;
освоить принципы работы с задачами, операторами и DAG’ами;
научиться настраивать рабочее окружение для Airflow;
освоить методы администрирования и мониторинга кластера Airflow;
интегрировать Apache Aiflow с другими Big Data фреймворками (Hadoop, Spark) и внешними системами.

Содержание курса

1. Введение в AirFlow

Что такое Apache Airflow?
Почему Airflow?
История создания Airflow
Аналоги и конкуренты
Сравнение с конкурентами
Оркестрация
Где применяется?

2. Основные абстракции и компоненты

Верхнеуровневая архитектура
Программные компоненты
Абстракции: DAG
Абстракции: operator
Абстракции: operator
Абстракции: композиция операторов
Абстракции: Variable
Исполнение и dag run
Task States
Обзор WEB UI

3. Написание простых DAG

Разработка конвейеров данных
ETL
Data Pipelines (ELT) vs ETL Pipelines dataflow vs workflow
Pipeline и Airflow
Способы построения DAGов
Создание DAG (pipeline)
Объект: DAG
Объект: operator
Объект: PythonOperator
Композиция
Первый DAG: дизайн
Первый DAG: схема

4. Дополнительные возможности

Connections
Hooks
Templates
Macros
Sensors
Готовые сенсоры
Trigger Rules
Backfill & catchup
TaskGroup
Dynamic: XCOM
Dynamic: Dynamic Task Generation

5. APACHE SPARK

Что такое SPARK?
Как устроен SPARK?
Как работает SPARK?
Airflow + Spark
Airflow: unitTest

6. Настройка, установка Airflow. Немного про docker. Тесты

Airflow: Versions
Airflow: Локальная установка
Airflow: with Docker
Docker
Docker: основные особенности
Docker: преимущества
Docker: основные компоненты
Docker: основные компоненты
Airflow в Docker: как установить?

Слушатели

Наши курсы обучения по Airflow ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов, DevOps-инженеров, разработчиков Hadoop и прочих Big Data систем.

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой
системой , POSIX, текстовыми редакторами vi, nano)
Начальный опыт программирования Python/bash
Начальный опыт в экосистеме Apache Hadoop