ADH-A-II

Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Программа «Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы» предназначена для получения расширенных знаний по сервисам экосистемы Hadoop и работы с компонентами обработки и анализа данных.

В рамках программы участники получат теоретические знания и практический опыт по:

принципам работы, архитектуре и настройкам HBase, Hive, Impala, Spark, Phoenix, Kyuubi, Trino и HUE;
форматам таблиц Iceberg;
работе со снепшотами и механизмами Time Travel;
принципам транзакционной согласованности и оптимизации запросов;
интеграции сервисов в едином кластере ArenadataHyperwave.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

планировать и развертывать распределенные вычислительные кластеры Hadoop на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
работать с сервисами и компонентами платформы Arenadata Hyperwave;
выполнять мониторинг и оптимизацию производительности системы;
обслуживать узлы кластера и отдельные компоненты.
выполнять аварийное восстановление узлов кластера и отдельных компонент.

Содержание курса

Модуль 1. HBase

Основные понятия и примеры операций.
Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush).
High Availability.
Работа с утилитами HBase (check, repair).

Модуль 2. Phoenix

Основные операции с данными.

Модуль 3. Hive

Примеры запросов Hive.
Основные понятия и примеры операций.
Установка и конфигурирование.
High Availability HiveServer.
Работа с утилитами Hive (schema-tool).
Работа с Tez UI.
Оптимизация запросов Hive.
Лабораторная работа.

Модуль 4. Impala

Архитектура и конфигурирование.

Модуль 5. Spark

Основные понятия и операции.
Установка и конфигурирование.
Работа со Spark UI.
Примеры кода.

Модуль 6. Работа с Livy сервером (REST API)

Модуль 7. Kyuubi

Архитектура, подключение и примеры операций.
Установка и конфигурирование.

Модуль 8. HUE

Установка, конфигурирование и обзор UI.

Модуль 9. Iceberg

Основные возможности.
Архитектура таблиц Iceberg.
Обслуживание таблиц Iceberg.
Лабораторная работа.

Модуль 10. Trino

Архитектура.
Установка и конфигурирование.
Конфигурационные файлы.
Коннекторы.
Лабораторная работа.

Модуль 11. Интеграция Ozone с сервисами кластера

Модуль 12. Взаимодействие сервисов Arenadata Hyperwave на ETL-стенде, демонстрация нагрузки

Слушатели

системные администраторы;
инженеры, уже знакомые с основами Hadoop (прошедшие обучение по программе «Эксплуатация Arenadata Hyperwave. Часть1: Базовые компоненты»);
специалисты по обработке данных, аналитики и разработчики, которые хотят освоить экосистему инструментов анализа и хранения больших данных;
архитекторы и инженеры, разрабатывающие комплексные решения на платформе Arenadata Hyperwave.

Предварительная подготовка

Знания и навыки в объеме «Эксплуатация Arenadata Hyperwave. Часть1: Базовые компоненты» (рекомендуется пройти обучение);
Базовые знания Linux (работа с консолью, файловой системой, пользователями, сетевыми настройками);
Понимание основных принципов сетевых взаимодействий (IP-адресация, DNS, SSH, порты);
Начальные знания об архитектуре распределённых систем и принципах хранения данных;
Навыки чтения и редактирования конфигурационных файлов (YAML, XML, INI);
Представление о Big Data-концепциях — что такое Data Lake, Data Warehouse, партиционирование данных, отказоустойчивость;
Базовые знания SQL (SELECT, JOIN, фильтрация, агрегирование);
Представление о Python на уровне чтения и написания простых скриптов (работа с файлами, логами, API, обработка данных);
Опыт работы с системами мониторинга (Prometheus, Grafana) или управления кластерами (Ambari, ADCM) (желательно).