ADH-A

Эксплуатация Arenadata Hadoop

ПОИСК

Быстрый заказ

ОЦЕНКА КУРСА

общая оценка курса:

оценка преподавателя:

Отзывов: 0

Стать преподавателем

Хочу скидку

Целью обучения является формирование знаний по продуктам экосистемы Hadoop и навыков по установке, конфигурированию, обслуживанию, восстановлению и управлению кластером Hadoop с использованием дистрибутива Arenadata Hadoop и системы управления Arenadata Cluster Manager.

Выберите форму обучения, чтобы увидеть актуальные даты:

После изучения курса вы сможете

планировать и развертывать распределенные вычислительные кластеры Hadoop на базе дистрибутива Arenadata Hadoop версии 2 и системы управления Arenadata Cluster Manager;
работать с продуктами экосистемы Hadoop;
выполнять мониторингу и оптимизацию производительности системы;
обслуживать узлы кластера и отдельные компоненты.
аварийно восстанавливать узлы кластера и отдельные компоненты.

Содержание курса

1. Введение

2. Введение в экосистему Hadoop

История возникновения Hadoop
Понятия BigData, Data Lake
История проекта
Основные компоненты и экосистема
Основные проекты Hadoop. HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, Zookeeper
Дистрибутивы Hadoop
Проект ODPi. Arenadata Hadoop
Проект Ambari. ADCM
Архитектура кластера Hadoop
HDFS. YARN
Отказоустойчивость

3. Подготовка окружения к установке Hadoop

Планирование кластера
Типы узлов. Профили нагрузки
Аппаратное обеспечение. Примеры кластеров
Настройка параметров окружения
Подготовка к установке
Настройка сети и DNS. Лабораторная работа
Монтирование и настройка файловой системы. Лабораторная работа

4. Введение в Arenadata Cluster Manager

Основные понятия и компоненты
Развертывание системы управления. Лабораторная работа
Подготовка и настройка инфраструктуры с использованием бандла. Лабораторная работа
Планирование и первичная конфигурация кластера Hadoop
Установка и настройка мониторинга. Лабораторная работа
Установка кластера Hadoop. Лабораторная работа.
Мониторинг. Работа с метриками в Grafana
Подходы к конфигурированию сервисов экосистемы Hadoop
Основные конфигурационные файлы и описание
Работа с логами сервисов, поиск и выявление проблем работы с сервисами
Интерпретация статусов тестов, сервисов в системе управления ADCM
Обзор возможностей ADCM
Удаление кластера

5. Пост-настройка кластера Hadoop: HDFS, YARN

Файловая система HDFS
Основные операции в HDFS: Работа с файлами и каталогами. Balancer
Распределенное копирование. HttpFS. Лабораторные работы
Обслуживание и диагностика HDFS: DataNodes, NameNodes, HA. HDFS UI. Лабораторная работа
Политики хранения и размещения в HDFS: Политики хранения. Tiering. Erasure Coding. Rack Awareness. Лабораторные работы
Компрессия и форматы файлов
Парадигма Map Reduce: Лабораторная работа (опционально).
Архитектура YARN, HA-режим. Работа с YARN UI
Scheduler YARN. Лабораторная работа

6. Проверка работоспособности кластера

ZooKeeper. Основные понятия и операции. Работа с Zookeeper CLI.
HBase. Основные понятия и примеры операций. Установка и конфигурирование (GC, Memstore, Compression, Load balancing, Flush). High Availability. Работа с утилитами HBase (check, repair)
Phoenix. Основные операции с данными. Примеры запросов Hive. Основные понятия и примеры операций. Установка и конфигурирование. High Availability HiveServer
Работа с утилитами Hive (schema-tool). Работа с Tez UI.
Оптимизация запросов Hive. Лабораторная работа
Spark. Основные понятия и операции.
Установка и конфигурирование. Работа со Spark UI. Примеры кода.
Работа с Livy сервером (REST API)
Zeppelin. Основные интерпретаторы и примеры кода

Слушатели

системные администраторы Hadoop;
архитекторы Data Science;
инженера в области Data Science;
подготовка к сертификационному экзамену на статус специалиста «ADCS Hadoop: System Administrator».

Предварительная подготовка

Знание базовых команд Linux (опыт работы с командной строкой, файловой системой)
Опыт работы с текстовыми редакторами vi, nano