Продолжительность курса: 130 ак. ч.

Описание курса:
Это комплексный практико-ориентированный курс по профессии Инженер данных (Data Engineer). Программа охватывает полный жизненный цикл работы с данными: от их сбора и хранения до трансформации и передачи для аналитики и машинного обучения. Слушатели изучат современные архитектуры систем обработки данных (DWH, Data Lake, Hadoop), освоят ключевые технологии индустрии (Greenplum, ClickHouse, Apache Kafka, Apache Spark, Apache Airflow, DBT, ELK), а также научатся применять контейнеризацию (Docker, Kubernetes), облачные решения и практики DataOps (CI/CD, мониторинг).

Аудитория:
• data Analyst / BI-разработчиков
• backend-разработчиков (Python, Java, Scala), планирующих перейти в сферу Big Data и распределенных систем
• junior Data Scientists

Необходимая подготовка:
• SQL: Уверенное владение на уровне написания сложных запросов (JOIN, агрегации, оконные функции, подзапросы). Это основа для модулей по DWH, DBT и аналитическим запросам
• Основы программирования: Базовый уровень Python (или Java/Scala) для написания скриптов, работы с API и понимания архитектуры Apache Spark
• Работа с командной строкой Linux: Базовые навыки (навигация, работа с файлами, права доступа), так как большинство инструментов (Docker, Hadoop, ELK, Airflow) развертываются и управляются через терминал
• Общее понимание баз данных: Знание того, что такое реляционные базы данных, таблицы, индексы и транзакции (на уровне пользователя или начинающего разработчика)

Программа курса:
Модуль 1. Введение
• Введение в профессию. Кто такой Инженер Данных. Какие задачи он решает. Архитектура систем

Модуль 2. Инженер данных. Архитектуры систем обработки данных
• Инженер данных. Архитектуры систем обработки данных
• Выбор технологий. Облачные технологии
• Docker
• Основы Kubernetes

Модуль 3. Источники данных
• Основы баз данных
• NoSQL. Key-Value
• NoSQL. Wide-column

Модуль 4. DWH
• Основы DWH
• Модели данных в DWH
• Greenplum
• ClickHouse
• Разбор ДЗ по модулям 2 и 3

Модуль 5. Data Lake
• Основы Data Lake. Hadoop
• Распределенные файловые системы
• ELK
• ELK (практика)

Модуль 6. Загрузка данных
• Загрузка данных
• Apache Kafka
• Kafka Connect
• Apache Ni-Fi. Выгрузка данных из внешних систем
• Apache Airflow. Введение в автоматизацию пайплайнов и оркестрацию
• Apache Airflow. Сложные пайплайны

Модуль 7. Запросы к данным и трансформация
• Аналитические запросы
• SQL в больших данных
• DBT
• Apache Spark. Архитектура приложения
• Apache Spark. API
• Обработка потоковых данных

Модуль 8. Предоставление данных для аналитики и машинного обучения
• Предоставление данных
• Data Quality. Управление качеством данных
• Управление метаданными
• Основы Business Intelligence
• Развертывание BI-решения

Модуль 9. DataOps
• DevOps практики. CI + CD
• Мониторинг
• Разбор ДЗ по модулям 4 и 5

Модуль 10. Выпускной проект
• Выбор темы и организация проектной работы
• Консультация по проектам и домашним заданиям
• Защита проектных работ

Окончательная цена указывается в договоре на обучение. Записаться на курс