ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Программа «Эксплуатация Arenadata Hyperwave. Часть 1: Базовые компоненты» предназначена для получения фундаментальных знаний и практических навыков по установке, конфигурированию и управлению кластерами Arenadata Hyperwave.
В рамках программы участники получат теоретические знания и практический опыт по:
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
|||||||||||||||||||||||||||||||
После изучения курса вы сможете
- планировать и развертывать распределенные вычислительные кластеры Hadoop на базе дистрибутива Arenadata Hyperwave версии 4 и системы управления Arenadata Cluster Manager;
- работать с сервисами и компонентами платформы Arenadata Hyperwave;
- выполнять мониторинг и оптимизацию производительности системы;
- обслуживать узлы кластера и отдельные компоненты;
- выполнять аварийное восстановление узлов кластера и отдельных компонент.
Содержание курса
Модуль 1. Введение в экосистему Hadoop
Модуль 2. Подготовка окружения к установке Arenadata Hyperwave
Модуль 3. Введение в Arenadata Cluster Manager
Модуль 4. Пост-настройка кластера Arenadata Hyperwave: HDFS, YARN
Модуль 5. Smart Storage Manager (SSM)
Модуль 6. Ozone
Модуль 7. ZooKeeper
- История возникновения Hadoop.
o Понятия Big Data, Data Lake, Data Warehouse, Data Lakehouse.
o Arenadata Hyperwave. Ключевые отличия от прошлых версий.
o История проекта.
o Основные компоненты и экосистема. - Основные проекты Hadoop. HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, ZooKeeper, Impala, Trino, Ozone, HUE, Kyuubi.
- Дистрибутивы Hadoop.
o Проект ODPi. Arenadata Hyperwave.
o Проект Ambari. Arenadata Cluster Manager. - Архитектура кластера Hadoop.
o HDFS. YARN. Ozone.
o Отказоустойчивость.
Модуль 2. Подготовка окружения к установке Arenadata Hyperwave
- Планирование кластера.
o Типы узлов. Профили нагрузки.
o Аппаратное обеспечение. Примеры кластеров. - Настройка параметров окружения.
o Подготовка к установке.
o Настройка сети и DNS. Лабораторная работа.
o Монтирование и настройка файловой системы. Лабораторная работа.
Модуль 3. Введение в Arenadata Cluster Manager
- Основные понятия и компоненты.
- Развертывание системы управления. Лабораторная работа.
- Подготовка и настройка инфраструктуры с использованием бандла. Лабораторная работа.
- Планирование и первичная конфигурация кластера ADH.
- Установка кластера ADH. Лабораторная работа.
- Мониторинг (Prometheus, Grafana).
- Подходы к конфигурированию сервисов экосистемы ADH.
- Основные конфигурационные файлы и описание.
- Работа с логами сервисов, поиск и выявление проблем работы с сервисами.
- Обзор возможностей ADCM. Интерпретация статусов тестов, сервисов в системе управления ADCM.
Модуль 4. Пост-настройка кластера Arenadata Hyperwave: HDFS, YARN
- Файловая система HDFS.
- Основные операции в HDFS.
o Работа с файлами и каталогами. Balancer.
o Распределенное копирование. HttpFS. Лабораторные работы.
- Обслуживание и диагностика HDFS: DataNodes, NameNodes, HA. HDFS UI. Лабораторная работа.
- Политики хранения. Tiering. Erasure Coding. Rack Awareness. Лабораторные работы.
- Компрессия и форматы файлов.
- Парадигма Map Reduce.
- Архитектура YARN, HA-режим. Работа с YARN UI.
- Scheduler YARN. Лабораторная работа.
Модуль 5. Smart Storage Manager (SSM)
- Предпосылки создания, история.
- Архитектура SSM, отказоустойчивость.
- Концепция правил и действий.
- Возможности SSM, примеры операций.
- Основные конфигурационные файлы и описание.
- Лабораторная работа (перемещение данных).
Модуль 6. Ozone
- Назначение и применение Ozone.
- Отличие от HDFS, преимущества.
- Архитектура и компоненты Ozone, отказоустойчивость.
- Структура хранения данных в Ozone (том, бакет, ключ).
- Основные операции в Ozone.
- Основные конфигурационные файлы и описание.
- Политики хранения, Rack Awareness.
- Лабораторная работа.
Модуль 7. ZooKeeper
- ZooKeeper. Основные понятия и операции. Работа с ZooKeeper CLI.
Слушатели
- системные администраторы;
- инженеры, которые впервые работают с Hadoop-кластером;
- специалисты по эксплуатации;
- DevOps-инженерыв;
- архитекторы инфраструктур данных, желающие понять внутреннее устройство и управление кластерами Arenadata Hyperwave.
Предварительная подготовка
- Знание базовых команд Linux (опыт работы с командной строкой, файловой системой).
- Опыт работы с текстовыми редакторами vi, nano.