ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
3-хдневный практический курс Data Pipeline на Apache Airflow и Apache Hadoop для аналитиков и инженеров данных, архитекторов и специалистов по настройке и сопровождению потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и AirFlow.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
После изучения курса вы сможете
- понять, что такое Apache Airflow;
- уяснить отличия Airfow от NiFi;
- освоить принципы работы с задачами, операторами и DAG’ами;
- научиться настраивать рабочее окружение для Airflow;
- освоить методы администрирования и мониторинга кластера Airflow;
- интегрировать Apache Aiflow с другими Big Data фреймворками (Hadoop, Spark) и внешними системами.
Содержание курса
1. Введение в AirFlow
- Что такое Apache Airflow?
- Почему Airflow?
- История создания Airflow
- Аналоги и конкуренты
- Сравнение с конкурентами
- Оркестрация
- Где применяется?
- Верхнеуровневая архитектура
- Программные компоненты
- Абстракции: DAG
- Абстракции: operator
- Абстракции: operator
- Абстракции: композиция операторов
- Абстракции: Variable
- Исполнение и dag run
- Task States
- Обзор WEB UI
- Разработка конвейеров данных
- ETL
- Data Pipelines (ELT) vs ETL Pipelines dataflow vs workflow
- Pipeline и Airflow
- Способы построения DAGов
- Создание DAG (pipeline)
- Объект: DAG
- Объект: operator
- Объект: PythonOperator
- Композиция
- Первый DAG: дизайн
- Первый DAG: схема
- Connections
- Hooks
- Templates
- Macros
- Sensors
- Готовые сенсоры
- Trigger Rules
- Backfill & catchup
- TaskGroup
- Dynamic: XCOM
- Dynamic: Dynamic Task Generation
- Что такое SPARK?
- Как устроен SPARK?
- Как работает SPARK?
- Airflow + Spark
- Airflow: unitTest
- Airflow: Versions
- Airflow: Локальная установка
- Airflow: with Docker
- Docker
- Docker: основные особенности
- Docker: преимущества
- Docker: основные компоненты
- Docker: основные компоненты
- Airflow в Docker: как установить?
Слушатели
Наши курсы обучения по Airflow ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов, DevOps-инженеров, разработчиков Hadoop и прочих Big Data систем.
Предварительная подготовка
- Знание базовых команд Linux (опыт работы с командной строкой, файловой
системой , POSIX, текстовыми редакторами vi, nano) - Начальный опыт программирования Python/bash
- Начальный опыт в экосистеме Apache Hadoop