Python и автоматизация пайплайнов
Python и автоматизация пайплайнов
Simulative
Сложность
Для новичков
Длительность
4 мес
Описание курса
Хотите перестать тратить время на рутину и начать работать эффективно? Этот курс научит вас автоматизировать аналитические процессы с помощью Python: от базовых скриптов для обработки данных до сложных систем регулярных отчётов. Вы освоите не только автоматизацию выгрузок и обработки данных, но и профессиональные подходы к разработке — принципы ООП, создание читаемого и поддерживаемого кода. Особое внимание уделим работе с расписанием задач и интеграции скриптов в рабочие процессы. Курс идеально подойдёт аналитикам, которые хотят выйти за рамки Excel и научиться решать задачи программированием. Вы получите не просто технические навыки, а принципиально новый уровень эффективности в работе с данными.
Программа курса
Продвинутый SQL для работы с большими данными
- Введение в PL/pgSQL
- Глава 1. Анонимные блоки и переменные
- Глава 2. Условные операторы и циклы
- Глава 3. Курсоры
- Глава 4. Функции и процедуры
- Глава 5. Обработка ошибок
- Глава 6. Триггеры
- Глава 7. Оптимизация"SQL для анализа данных
Clickhouse и хранилища данных (DWH)
- Глава 1. Введение в ClickHouse
- Глава 2. Построчные преобразования
- Глава 3. Агрегатные функции в Clickhouse
- Глава 4. Оконные функции
- Глава 5. Массивы
- Глава 6. Работа с сырыми данными
- Глава 7. Соединения данных
- Глава 8. Спешиал (кейсы)
Базовый Python
- Введение в Python
- Переменные. Базовые типы данных
- Сложные типы данных
- Дополнительные типы данных
- Функции
- Условия
- Циклы for и while
- Модули и библиотеки
- Базовая работа с файлами
- Промежуточные бизнес-кейсы
- Лямбда-функции и Функциональное программирование
- Comprehensions
- Итерируемые объекты, итераторы, генераторы, генераторные выражения
- Промежуточные бизнес-кейсы
- Исключения
- Оператор *
- Работа с датой и временем
- Промежуточные бизнес-кейсы
- Регулярные выражения
- Работа с базами данных через Python
- Модуль requests
- Итоговый проект
ООП в Python
- Основы ООП
- Инкапсуляция
- Наследование
- Полиморфизм, абстрактные классы и методы
- Дополнительные приемы - property, staticmethod, геттеры-сеттеры, декораторы
- Магические методы, Singleton
- Итоговые бизнес-кейсы: ООП
Python для анализа данных
- Подмодуль «Numpy»
• Введение
• Основные операции с массивами
• Основные функции
• Статистика
• Загрузка и сохранение данных
• Линейная алгебра
• Логические функции
• Случайные величины
• Практический кейс - Подмодуль «Pandas»
• Введение в Pandas
• Загружаем и обрабатываем данные
• Изучаем датасет - проводим исследовательский анализ данных (EDA)
• Расчеты метрик
• Дополнительные методы
• Практический блиц-тест
• Практический кейс
• Несколько лайфхаков от Андрона - Подмодуль «Визуализация в Python»
• Matplotlib: Основы
• Matplotlib: Тюнинг графиков
• Matplotlib: Остальные виды визуализаций
• Matplotlib: Совмещение графиков
• Seaborn: Основы
• Seaborn: Продвинутая визуализация
• Plotly: Интерактивные графики
• Практическая работа
• Разбор практической работы
• Полезные советы от Андрона
• Итоговый проект
• Итоговый проект - Тестовое в Самокат
• Итоговый проект - Разбор
Автоматизация и деплой
- Введение в автоматизацию и деплой
- Создание и настройка сервера
- Разработка проекта
- Деплой
- Автоматизация
- Настройка веб-сервера и Metabase
- Windows Scheduler
- Итоговый проект
Airflow
- Знакомство с Apache Airflow
- Основы работы в Apache Airflow
- Архитектура Apache Airflow
- Пишем первые DAGs
- Продвинутая работа с Jinja Templates
- Продвинутая работа с Operators в Apache Airflow
- Работа с качеством данных в Apache Airflow
Преподаватели
Давид Хоперья
Data Engineer, Ozon Fintech
Иван Котов
Head of QA в МТС Big Data, Выстраивает процессы тестирования стриминговых и etl процессов в кластере больших данных в продуктах телекома
Алексанян Андрон
CEO / Founder IT Resume & Simulative. Основал платформу IT Resume. Реализовывал проекты в области аналитики, AI и Computer Vision.
Преподаватель ИАТЭ НИЯУ МИФИ на кафедре Прикладной математики. Автор научных статей по анализу данных и обработке временных рядов.
Похожие курсы
+375 44 733 73 70
Общие вопросы:
ООО «Байскилз», УНП 193454177
220012, Республика Беларусь, г. Минск, ул. Толбухина, 2, пом.19
Свидетельство о государственной регистрации
№193454177 от 06.08.2020 выдано Минским горисполкомом
© ООО «Байскилз», 2025
© ООО «Байскилз», 2025