ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Программа «Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы» предназначена для получения расширенных знаний по сервисам экосистемы Hadoop и работы с компонентами обработки и анализа данных.
В рамках программы участники получат теоретические знания и практический опыт по:
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||||||||||||||
После изучения курса вы сможете
- планировать и развертывать распределенные вычислительные кластеры Hadoop на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
- работать с сервисами и компонентами платформы Arenadata Hyperwave;
- выполнять мониторинг и оптимизацию производительности системы;
- обслуживать узлы кластера и отдельные компоненты.
- выполнять аварийное восстановление узлов кластера и отдельных компонент.
Содержание курса
Модуль 1. HBase
Модуль 2. Phoenix
Модуль 3. Hive
Модуль 4. Impala
Модуль 5. Spark
Модуль 6. Работа с Livy сервером (REST API)
Модуль 7. Kyuubi
Модуль 8. HUE
Модуль 9. Iceberg
Модуль 10. Trino
Модуль 11. Интеграция Ozone с сервисами кластера
Модуль 12. Взаимодействие сервисов Arenadata Hyperwave на ETL-стенде, демонстрация нагрузки
- Основные понятия и примеры операций.
- Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush).
- High Availability.
- Работа с утилитами HBase (check, repair).
Модуль 2. Phoenix
- Основные операции с данными.
Модуль 3. Hive
- Примеры запросов Hive.
- Основные понятия и примеры операций.
- Установка и конфигурирование.
- High Availability HiveServer.
- Работа с утилитами Hive (schema-tool).
- Работа с Tez UI.
- Оптимизация запросов Hive.
- Лабораторная работа.
Модуль 4. Impala
- Архитектура и конфигурирование.
Модуль 5. Spark
- Основные понятия и операции.
- Установка и конфигурирование.
- Работа со Spark UI.
- Примеры кода.
Модуль 6. Работа с Livy сервером (REST API)
Модуль 7. Kyuubi
- Архитектура, подключение и примеры операций.
- Установка и конфигурирование.
Модуль 8. HUE
- Установка, конфигурирование и обзор UI.
Модуль 9. Iceberg
- Основные возможности.
- Архитектура таблиц Iceberg.
- Обслуживание таблиц Iceberg.
- Лабораторная работа.
Модуль 10. Trino
- Архитектура.
- Установка и конфигурирование.
- Конфигурационные файлы.
- Коннекторы.
- Лабораторная работа.
Модуль 11. Интеграция Ozone с сервисами кластера
Модуль 12. Взаимодействие сервисов Arenadata Hyperwave на ETL-стенде, демонстрация нагрузки
Слушатели
- системные администраторы;
- инженеры, уже знакомые с основами Hadoop (прошедшие обучение по программе «Эксплуатация Arenadata Hyperwave. Часть1: Базовые компоненты»);
- специалисты по обработке данных, аналитики и разработчики, которые хотят освоить экосистему инструментов анализа и хранения больших данных;
- архитекторы и инженеры, разрабатывающие комплексные решения на платформе Arenadata Hyperwave.
Предварительная подготовка
- Знания и навыки в объеме «Эксплуатация Arenadata Hyperwave. Часть1: Базовые компоненты» (рекомендуется пройти обучение);
- Базовые знания Linux (работа с консолью, файловой системой, пользователями, сетевыми настройками);
- Понимание основных принципов сетевых взаимодействий (IP-адресация, DNS, SSH, порты);
- Начальные знания об архитектуре распределённых систем и принципах хранения данных;
- Навыки чтения и редактирования конфигурационных файлов (YAML, XML, INI);
- Представление о Big Data-концепциях — что такое Data Lake, Data Warehouse, партиционирование данных, отказоустойчивость;
- Базовые знания SQL (SELECT, JOIN, фильтрация, агрегирование);
- Представление о Python на уровне чтения и написания простых скриптов (работа с файлами, логами, API, обработка данных);
- Опыт работы с системами мониторинга (Prometheus, Grafana) или управления кластерами (Ambari, ADCM) (желательно).