ADH-A-II

Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Программа «Эксплуатация Arenadata Hyperwave. Часть 2: Сервисы платформы» предназначена для получения расширенных знаний по сервисам экосистемы Hadoop и работы с компонентами обработки и анализа данных.

В рамках программы участники получат теоретические знания и практический опыт по:

принципам работы, архитектуре и настройкам HBase, Hive, Impala, Spark, Phoenix, Kyuubi, Trino и HUE;
форматам таблиц Iceberg;
работе со снепшотами и механизмами Time Travel;
принципам транзакционной согласованности и оптимизации запросов;
интеграции сервисов в едином кластере ArenadataHyperwave.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

планировать и развертывать распределенные вычислительные кластеры Hadoop на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
работать с сервисами и компонентами платформы Arenadata Hyperwave;
выполнять мониторинг и оптимизацию производительности системы;
обслуживать узлы кластера и отдельные компоненты.
выполнять аварийное восстановление узлов кластера и отдельных компонент.

Содержание курса

Модуль 1. Концепция и структура гибридной платформы данных

Arenadata Hyperwave (ADH). Гибридная платформа данных.

Модуль 2. Сервисы обработки, хранения и доступа к данным платформы ADH

HBase. Основные понятия и примеры операций. Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush). High Availability. Работа с утилитами HBase.

Phoenix. Основные операции с данными.

Hive. Примеры запросов Hive. Основные понятия и примеры операций. Установка и конфигурирование. High Availability HiveServer. Работа с утилитами Hive (schema-tool). Работа с Tez UI. Оптимизация запросов Hive.

Impala. Архитектура и конфигурирование.

Spark. Основные понятия и операции. Установка и конфигурирование. Работа со Spark UI. Примеры кода. Dynamic Allocation. Работа с Livy сервером (REST API).

Kyuubi. Архитектура, подключение и примеры операций. Установка и конфигурирование.

HUE. Установка, конфигурирование и обзор UI.

Iceberg. Основные возможности, Архитектура таблиц Iceberg, Обслуживание таблиц Iceberg. Работа с Iceberg через Spark (практика SQL и конфигурации).

Trino. Архитектура, установка и конфигурирование.Конфигурационные файлы, коннекторы. Особенности SQL запросов.

Модуль 3. Взаимодействие компонентов платформы данных в тестовой среде

Интеграция Ozone с сервисами кластера.

Взаимодействие сервисов ADH на ETL-стенде, демонстрация нагрузки.

Слушатели

системные администраторы;
инженеры, уже знакомые с основами Hadoop (прошедшие обучение по программе «Эксплуатация Arenadata Hyperwave. Часть1: Базовые компоненты»);
специалисты по обработке данных, аналитики и разработчики, которые хотят освоить экосистему инструментов анализа и хранения больших данных;
архитекторы и инженеры, разрабатывающие комплексные решения на платформе Arenadata Hyperwave.

Предварительная подготовка

Знания и навыки в объеме «Эксплуатация Arenadata Hyperwave. Часть1: Базовые компоненты» (рекомендуется пройти обучение);
Базовые знания Linux (работа с консолью, файловой системой, пользователями, сетевыми настройками, текстовые редакторы vi, vim, nano);
Понимание основных принципов сетевых взаимодействий (IP-адресация, DNS, SSH, порты);
Начальные знания об архитектуре распределённых систем и принципах хранения данных;
Навыки чтения и редактирования конфигурационных файлов (YAML, XML, INI);
Представление о Big Data-концепциях — что такое Data Lake, Data Warehouse, партиционирование данных, отказоустойчивость;
Базовые знания SQL (SELECT, JOIN, фильтрация, агрегирование);
Представление о Python на уровне чтения и написания простых скриптов (работа с файлами, логами, API, обработка данных);
Опыт работы с системами мониторинга (Prometheus, Grafana) или управления кластерами (Ambari, ADCM) (желательно).