Data Engineer

Команда создает поисковый сервис для ответов на запросы пользователей на естественном языке. Сервис обеспечивает доступ GigaChat к актуальной информации, преодолевая барьер между статичными знаниями языковой модели и постоянно меняющимся миром.

• Разрабатывать и настраивать механизмы для автоматизированного сбора данных.
• Обеспечивать корректность и полноту сбора данных.
• Оптимизировать процессы для ускорения работы и исключения ручного вмешательства.
• Разрабатывать пайплайны для предобработки данных и приведения их к формату, оптимальному для хранения и поиска.
• Проектировать и реализовывать эффективные хранилища данных.
• Применять машинное обучение и искусственный интеллект для улучшения результатов работы системы.
• Поддерживать работоспособность системы, включая мониторинг, диагностику, устранение неполадок и исправление ошибок.

• Продвинутый уровень владения Python и SQL.
• Опыт работы с движками для распределенной обработки данных (Spark, Trino) и оркестраторами (Airflow).
• Умение проектировать DWH, Data Lake, Data Management Platform.
• Опыт построения и развития высоконагруженных систем.
• Опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (от 100TB до 1PB+).
• Будет плюсом опыт работы с таблицами формата Iceberg, индексами ElasticSearch/OpenSearch и GPU для инференса моделей.

• Комфортный современный офис в Москве (м. Кутузовская).
• Ежегодный пересмотр зарплаты и годовая премия.
• Корпоративный спортзал и зоны отдыха.
• Доступ к более чем 400 образовательным программам СберУниверситета.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Бесплатная подписка СберПрайм+ и скидки на продукты компаний-партнеров.