[Stepik] BI аналитика/Data engineer экспресс-курс (Трофим Воробьев)

BI аналитика/Data engineer экспресс-курс


Отличная возможность освоить передовую IT-профессию DE/BI за 5.5 часов видео-лекций. Только необходимые знания. Самостоятельный финальный full data pipeline проект от извлечения данных до визуализации. Самый передовой стек технологий - Docker + Airflow + ClickHouse + DataLens + Superset


Чему вы научитесь

• Установка DataLens, Superset, ClickHouse и других инструментов с помощью Docker
• Частично затронем администрирование ClickHouse
• Изучим DataLens
• Изучим Superset
• Разработаем реальный дашборд (отчёт)
• Разработаем миниатюрное DWH (хранилище данных)
• Изучим наилучшие практики составления отчётов
• Разберём подводные камни, поймём, как и почему делать нужно/не нужно
• Изучим Apache Airflow
• Научимся парсить источники данных
• Организуем ETL-процесс и full data pipeline (от извлечения данных до дашборда)

Программа курса


Введение

1. Знакомство с BI/инжинирингом данных, структурой курса

Осваиваем Docker, устанавливаем необходимое

1. Знакомство с Docker
2. Установка Docker
3. Установка DataLens
4. Установка ClickHouse

DataLens от подключения до дашборда

1. Быстрый старт
2. Тест "Быстрый старт"
3. Настраиваем ClickHouse
4. Тест "Настраиваем ClickHouse"
5. Взаимодействие ClickHouse и DataLens
6. Тест "Взаимодействие ClickHouse и DataLens"
7. Тест "Исследование данных"

Витрина данных. Слои данных. ETL, ELT. DWH по Кимбаллу

1. Витрина данных
2. Слои данных. ETL/ELT
3. DWH по Кимбаллу
4. Тест по модулю

Финальный отчёт DataLens

1. Динамика бизнеса
2. Рейтинг магазинов
3. Продажи по территории. drill-down
4. Подведение итогов

Apache Superset

1. Установка Apache Superset
2. Быстрый старт
3. Тест "Быстрый старт"
4. Отличительные особенности Superset (RBAC, RLS, DML, Cache)

Apache Airflow

1. Установка Apache Airflow
2. Быстрый старт

Full data pipeline

1. от и до

Заключение

1. Итоги