ПОИСК
Быстрый заказ
ОЦЕНКА КУРСАобщая оценка курса:оценка преподавателя: Хочу скидку |
Курс «Аналитика больших данных для менеджеров» построен таким образом, чтобы всего за 3 дня даже самый занятой руководитель мог эффективно освоить теорию и практику современных технологий Big Data в контексте их бизнес-применения. Обучение включает все необходимые знания для успешного участия в проектах по анализу больших данных. Программа обучения содержит информацию о фазах жизненного цикла аналитических процессов при цифровизации бизнеса и переходе к использованию Big Data. Вы узнаете базовые и расширенные методы аналитики, в т.ч. техники поиска и извлечения знаний из больших массивов разнородных данных. Также рассматриваются различные версии дистрибутивов платформы Hadoop, облачные сервисы для хранения и аналитики больших данных, «opensource» и коммерческие инструменты.
Подробно изучаются сценарии применения технологий работы с Большими Данными в организациях государственного сектора и различных отраслях бизнеса: банки и финансовые учреждения, промышленность, торговля, транспорт и др. На сквозных примерах вы узнаете все особенности процессов инициации проектов цифровой трансформации, от сбора данных до формирования команды. Также детально познакомитесь с каждой фазой жизненного цикла работы с Big Data: подготовка данных, выбор модели, пилотное развертывание и тестирование прототипа, промышленная эксплуатация. В нашем 3-дневном тренинге вы получите ответы на актуальные вопросы работы с персональными данными и обеспечения безопасности при работе с Big Data. Материалы содержат много реальных примеров (use cases) монетизации больших данных в российском и мировом бизнесе. Особое внимание уделено условиям импортозамещения, а также возможным сложностям и специфике использования при работе с большими данными для различных секторов экономики в России.
Выберите форму обучения,
чтобы увидеть актуальные даты:
РАСПИСАНИЕ ЗАНЯТИЙ
|
После изучения курса вы сможете
- разбираться в основных понятиях Больших Данных, Машинного обучения (Machine Learning), Искусственного интеллекта (Artificial Intelligence)
- понимать назначение компонентов экосистемы Hadoop, Spark, Kafka или терминов Data Lake, Delta Lake
- знать, в чем отличие Apache Hadoop, Arenadata,NoSQL, MPP или Greenplum
- выявить нюансы облачных решений, контейнеризации и применимости к вашей отрасли бизнеса
- уяснить, что такое стандарт GDPR и как он влияет на ваш бизнес, риски и ограничения, и что такое политики Data Governance
- узнать особенности применение методологий для реализации процессов аналитики больших данных на примере CRISP-DM
Содержание курса
1. Введение в Big Data (Большие данные)
4. Подготовка данных (Data Preparation)
- Большие данные и цифровизация бизнеса
- Базовые принципы и отличия от классических подходов к работе с данными
- Обзор методологии CRISP DM— модели жизненного цикла аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение
- Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases)
- Тенденции в подходах Big Data и что актуально на сегодняшний день
- Технологии BigData в условиях импортозамещения
- Определение бизнес целей для проекта BigData
- Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases)
- Инициация проекта — критические факторы успеха. Основные проблемы
- Оценка ситуации: риски, ROI, доступные ресурсы, оценка зрелости компании
- Приоритизация задач: Что делаем, а что нет
- Высокоуровневый план проекта
- Начинаем формировать команду проекта: специалисты и их компетенции, роли
- Определение источников данных
- Специфика работы с потоковыми данными и batch в Big Data
- Принципы формирования DataLake: выбор платформы
- Первичный сбор и анализ данных: инструментарий и доступные методы
- Описание данных и сбор метаданных
- Datamanagement и Data Governance
- Оценка качества данных DataQuality
- Основные трудности и проблемы, критические факторы успеха, роли и навыки
- Разбор сценариев (cases) для фазыData Understanding
- Подготовка данных – подходы DataScience: нормализация, очистка, выборки, enrichment, форматирование данных
- Подготовка данных – как процесс формирования DataPipeline:
- Процессы ETL и ELT
- Зонирование DataLake и сегментирование данных.
- Назначение и сравнительная характеристика компонент экосистемы ApacheHadoop, NoSQL, DWH, платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии)
- Инструменты оркестрирования и автоматизации (DataFlow)
- И снова о Метаданных: Data Lineage, Data Provenance, Data Governance, …
- Безопасность больших данных
- Основные трудности и проблемы, критические факторы успеха
- Специалисты и их компетенции на данной стадии
- Классы аналитических задач и подходы к их решению
- Обзор техник моделирования
- Построение моделей и оценка моделей
- Что нужно для успешного моделирования
- Инструментарий для решения аналитических задач этапа моделирования
- Оценка моделей и среда тестирования моделей: технические метрики оценки качества проведенного моделирования
- А также песочницы, Machine & Deep learning, AI, Нейронные сети и многое другое
- Команда Data Scienceи их компетенции
- Основные трудности и проблемы фазы моделирования, критические факторы успеха
- Облачные платформы для быстрой разработки
- Место DevOps, MLOpsдля организации процессов разработки
- Рассмотрение фазы моделирования на сквозных сценариях (cases): место, участники, взаимодействие с другими фазами и процессами
- Про бизнес-метрики оценки качества моделирования
- Что делать если все плохо ? – возвращаемся на предыдущие фазы
- Рассматриваем данную стадию в рамках наших сценариев (cases)
- Отличия среды разработки и эксплуатации
- Особенности этапа оценки
- Планирование развертывания модели
- Мониторинг и обслуживание модели
- Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и MLOps
- Задачи финального обеспечения фаз жизненного цикла DataScience: цикличность reviews, обновления и вывод из эксплуатации
- Постанализ рисков и BIA, ROI и генерация ценности
- Допущенные просчеты и методы их решения
- Оценка процессов и оценка зрелости компании
- Типичные ошибки применения CRISPDM
- Альтернативные подходы и расширения CRISPDM (Domino, TDSP, SEMMA)
Слушатели
Данный курс ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса в условиях импортозамещения.
Предварительная подготовка
Предварительный опыт не требуется.