ADH-A-I

Эксплуатация Arenadata Hyperwave. Часть 1: Базовые компоненты

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Программа «Эксплуатация Arenadata Hyperwave. Часть 1: Базовые компоненты» предназначена для получения фундаментальных знаний и практических навыков по установке, конфигурированию и управлению кластерами Arenadata Hyperwave.

В рамках программы участники получат теоретические знания и практический опыт по:

архитектуре экосистемы Hadoop;
работе с:

HDFS;
Ozone;
SSM (Smart Storage Manager);
YARN;
ZooKeeper;
Arenadata Cluster Manager (ADCM);

планированию инфраструктуры;
настройке сети и файловой системы;
отказоустойчивости и основам мониторинга с использованием Prometheus и Grafana;
установке и первичной настройке кластера;
диагностике и устранению проблем в его работе.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

планировать и развертывать распределенные вычислительные кластеры Hadoop на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
работать с сервисами и компонентами платформы Arenadata Hyperwave;
выполнять мониторинг и оптимизацию производительности системы;
обслуживать узлы кластера и отдельные компоненты;
выполнять аварийное восстановление узлов кластера и отдельных компонент.

Содержание курса

Модуль 1. Введение в экосистему Hadoop

История возникновения Hadoop.
o   Понятия Big Data, Data Lake, Data Warehouse, Data Lakehouse.
o   Arenadata Hyperwave. Ключевые отличия от прошлых версий.
o   История проекта.
o   Основные компоненты и экосистема.
Основные проекты Hadoop. HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, ZooKeeper, Impala, Trino, Ozone, HUE, Kyuubi.
Дистрибутивы Hadoop.
o Проект ODPi. Arenadata Hyperwave.
o Проект Ambari. Arenadata Cluster Manager.
Архитектура кластера Hadoop.
o HDFS. YARN. Ozone.
o Отказоустойчивость.

Модуль 2. Подготовка окружения к установке Arenadata Hyperwave

Планирование кластера.
o Типы узлов. Профили нагрузки.
o Аппаратное обеспечение. Примеры кластеров.
Настройка параметров окружения.
o   Подготовка к установке.
o   Настройка сети и DNS. Лабораторная работа.
o   Монтирование и настройка файловой системы. Лабораторная работа.

Модуль 3. Введение в Arenadata Cluster Manager

Основные понятия и компоненты.
Развертывание системы управления. Лабораторная работа.
Подготовка и настройка инфраструктуры с использованием бандла. Лабораторная работа.
Планирование и первичная конфигурация кластера ADH.
Установка кластера ADH. Лабораторная работа.
Мониторинг (Prometheus, Grafana).
Подходы к конфигурированию сервисов экосистемы ADH.
Основные конфигурационные файлы и описание.
Работа с логами сервисов, поиск и выявление проблем работы с сервисами.
Обзор возможностей ADCM. Интерпретация статусов тестов, сервисов в системе управления ADCM.

Модуль 4. Пост-настройка кластера Arenadata Hyperwave: HDFS, YARN

Файловая система HDFS.
Основные операции в HDFS.
o Работа с файлами и каталогами. Balancer.
o Распределенное копирование. HttpFS. Лабораторные работы.

Обслуживание и диагностика HDFS: DataNodes, NameNodes, HA. HDFS UI. Лабораторная работа.
Политики хранения. Tiering. Erasure Coding. Rack Awareness. Лабораторные работы.
Компрессия и форматы файлов.
Парадигма Map Reduce.
Архитектура YARN, HA-режим. Работа с YARN UI.
Scheduler YARN. Лабораторная работа.

Модуль 5. Smart Storage Manager (SSM)

Предпосылки создания, история.
Архитектура SSM, отказоустойчивость.
Концепция правил и действий.
Возможности SSM, примеры операций.
Основные конфигурационные файлы и описание.
Лабораторная работа (перемещение данных).

Модуль 6. Ozone

Назначение и применение Ozone.
Отличие от HDFS, преимущества.
Архитектура и компоненты Ozone, отказоустойчивость.
Структура хранения данных в Ozone (том, бакет, ключ).
Основные операции в Ozone.
Основные конфигурационные файлы и описание.
Политики хранения, Rack Awareness.
Лабораторная работа.

Модуль 7. ZooKeeper

ZooKeeper. Основные понятия и операции. Работа с ZooKeeper CLI.

Слушатели

системные администраторы;
инженеры, которые впервые работают с Hadoop-кластером;
специалисты по эксплуатации;
DevOps-инженерыв;
архитекторы инфраструктур данных, желающие понять внутреннее устройство и управление кластерами Arenadata Hyperwave.

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой).
Опыт работы с текстовыми редакторами vi, nano.