Курсы по аналитике на SQL в Воронеже

Инженерия данных от проектирования до нетривиальной обработки.

Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.

Программа курса:

• РЕЛЯЦИОННЫЕ И MPP СУБД
• АВТОМАТИЗАЦИЯ ETL-ПРОЦЕССОВ
• BIG DATA
• ПРОЕКТИРОВАНИЕ DWH
• ОБЛАЧНОЕ ХРАНИЛИЩЕ
• ВИЗУАЛИЗАЦИЯ ДАННЫХ
• BIG ML
• УПРАВЛЕНИЕ МОДЕЛЯМИ
• УПРАВЛЕНИЕ ДАННЫМИ

• Работа в корпоративной среде. Трекинг задач. Постановка задачи. Жизненный цикл задачи.
• Основы Python. Программирование на Python.
• Углублённый Python. Синтаксис Python. Готовим инструменты разработки. Объектно-ориентированное программирование.
• Алгоритмы и структуры данных. Основы алгоритмов. Представление данных в памяти. Рекурсия и сортировки.
• Основы SQL и баз данных. Устройство PostgreSQL. Основы SQL и DDL. Основы SQL и DML. Нормализация и взаимоотношение. Объединение таблиц. Функции.
• Продвинутый SQL для работы с данными. Подзапросы и общие табличные выражения. Оконные функции. Представления. Продвинутые типы данных. Транзакции и блокировки.
• Как построить аналитическое хранилище данных. PostgreSQL и DBeaver. Нормальные формы. Знакомство с DWH. Погружение в DWH. SCD и его типы.
• Работа с данными в хранилище. Витрина данных и VIEW. Оптимизация запросов.
• ELT: автоматизация подготовки данных . Анализ вводных по задаче. Проектирование ETL-процесса. Ликбез по Airflow. Реализация ETL в Airflow.
• Проверка качества данных. Требования к качеству данных. Проектирование и разработка проверки.
• DWH для нескольких источников. Сбор требований и исследование источников. Проектирование DWH. Реализация DWH.Тестирование, интеграция и документация.
• Аналитические базы данных. Аналитические СУБД и Vertica. Разработка аналитической базы данных.
• Организация Data Lake. Проектирование Data Lake. Знакомство со Spark. PySpark для инженера данных.
• Потоковая обработка данных. Потоковая обработка с Kafka и Spark Streaming. Настройка потока данных.
• Облачные технологии. Облачные технологии Yandex Cloud. Подготовка и изучение источников.Создание окружения сервисов. Написание первого сервиса. Знакомство с DataLens.
• Выпускной проект или пет-проект. В конце курса у вас будет выбор: выполнить ещё один учебный проект или реализовать пет-проект. В первом случае нужно выбрать бизнес-задачу и разработать архитектуру данных с использованием всех изученных инструментов. Во втором случае вы сможете воплотить в жизнь и защитить личный проект. Что бы вы ни выбрали, вас поддержат наставники и ревьюеры, а получившийся кейс украсит ваше портфолио.
• Трудоустройство. Эта часть курса для тех, кто решил найти работу в сфере разработки. Вы изучите стратегии поиска работы и узнаете о тонкостях выбора компании-работодателя, подготовите портфолио, напишете резюме и сопроводительное письмо.
• Акселерация. Программа сопровождения: вы ищете работу, мы консультируем и помогаем. Участвовать в программе могут те, кто закончил программу трудоустройства и находится в активном поиске работы.
• Воркшопы для разбора ключевых тем, сессии Q&A. Описание отсутствует

• Бесплатная часть. Понятие алгоритма. Скользящее среднее. Метод двух указателей.
• Введение в алгоритмы. Понятие сложности алгоритма. O-нотация. Оценка времени исполнения программы. Уроки про алгоритмические собеседования.
• Основные структуры данных. Массив, связный список, стек, очередь. Сложность операций вставки, поиска и удаления. Представление данных в памяти. Пространственная сложность алгоритма.
• Рекурсия и сортировки. Понятие рекурсии. Принцип «разделяй и властвуй». Бинарный поиск.Квадратичные сортировки. Сортировка слиянием. Быстрая сортировка. Линейная сортировка подсчётом.
• Хеш-функции и хеш-таблицы. Абстракция отображения. Понятие и свойства хеш-функции, примеры. Структура данных хеш-таблица. Коллизии и способы их разрешения.
• Деревья. Структура данных дерево. Сбалансированные деревья поиска. Структура данных куча. Пирамидальная сортировка.
• Графы. Определение графа, способы представления в памяти. Обход графа в глубину и в ширину. Компоненты связности. Алгоритмы поиска кратчайшего пути. Минимальное остовное дерево.
• Жадные алгоритмы и динамическое программирование. Динамическое программирование. Жадные алгоритмы. Пробное алгоритмическое собеседование.
• Алгоритмы на строках.. Префикс-функция. Подстроки, префиксы и суффиксы. Поиск шаблона в строке. Наивный алгоритм. Структура данных бор. Практика решения задач с алгоритмических собеседований.