дата инженер

VK Tech строит высоконагруженное хранилище данных, которое обслуживает ключевые аналитические и бизнес-задачи, а также разрабатывает продукты для оптимизации ресурсов бизнеса, решающие задачи хранения, обработки и аналитики данных.

• Разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
• Оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
• Мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
• Помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
• Проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
• Участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.

• Опыт разработки и поддержки ETL-процессов на Python и Airflow;
• Уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
• Понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
• Опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
• Знание Git (ветки, коммиты, pull requests, code review);
• Умение читать и анализировать чужой код;
• Будет плюсом реальный опыт с YTsaurus (YT), коммерческий или уверенный учебный опыт с Hadoop/Spark, опыт миграции пайплайнов с одной вычислительной платформы на другую, навыки работы с DBT, понимание жизненного цикла данных (загрузка, трансформация, выгрузка).

• Гибкий график работы;
• Бонусы и скидки от партнеров;
• Офис в центре города;
• ДМС;
• Профессиональная команда.