ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||||||||
Бауманская
Содержание курса
1. Введение в потоковую обработку
- Потоковая и пакетная обработка данных
- Особенности потоковой обработки
- Надежность и потоковая обработка.
- Два вида потоков (на основе RDD и Dataframe)
- Парадигма потоковой обработки в Structured Streaming
- Источники (sources и sink).
- Трансформации и действия в Apache Spark
- Объединение данных в Spark (join)
- Особенности использования трансформаций при работе с потоковыми данными
- Файловый источник данных
- Apache Kafka как источник данных
- Другие источники потоковых данных
- Механизм checkpoint в Apache Spark
- Настройка streaming checkpoint
Слушатели
Практический курс по потоковой обработке с использованием Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования механизмов потоковой обработки в Спарк, с видами источников и нюансами практического использования Structured Streaming.
Предварительная подготовка
- Опыт работы в Unix/SQL;
- Начальный опыт программирования (Python/Java);
- Знания в объеме, аналогичном курсу Core Spark
- Начальный опыт в экосистеме Hadoop
- Базовые знания Kafka