Data Engineer
генерация резюме под вакансию
сопроводительное письмо
описание
Компания разрабатывает более 100 инновационных ИТ-продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни сотрудников и покупателей.
задачи
- Разрабатывать и поддерживать потоки обработки данных;
- Оптимизировать ETL-процессы;
- Обеспечивать надёжность и производительность пайплайнов;
- Участвовать в проекте внедрения новой архитектуры DataLakeHouse на базе Trino и Iceberg;
- Создавать собственный ETL-движок;
- Оптимизировать аналитическое хранилище;
- Мигрировать ключевые потоки данных на новый ETL-движок;
- Автоматизировать принятие решений по пайплайнам;
- Разрабатывать новые потоки данных.
требования
- Опыт работы в роли Data Engineer от 2–3 лет;
- Продвинутое владение SQL: сложные запросы, оптимизация, работа с партициями и индексами;
- Опыт работы с фреймворком Spark;
- Уверенное владение Python для обработки данных, написания скриптов и работы с API;
- Опыт работы с Trino, Iceberg, ClickHouse или Greenplum;
- Навыки работы с Airflow: разработка DAG, настройка исполнителей и мониторинг;
- Будет плюсом опыт работы с инструментами и процессами из стека компании.
условия
- Конкурентная заработная плата;
- ДМС со стоматологией;
- Скидки и специальные предложения от компаний-партнёров;
- Подписка М.Комбо с бонусными рублями, бесплатной доставкой и другими привилегиями;
- Возможность внедрять собственные идеи.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.