Дата аналитик
генерация резюме под вакансию
сопроводительное письмо
описание
Эйчартех Яндекса создаёт и поддерживает экосистему внутренних сервисов для ежедневной работы десятков тысяч сотрудников. Команда строит ML-решения и AI-продукты, которые автоматизируют поддержку сотрудников, суммаризируют встречи, помогают оценивать кандидатов на интервью и разрабатывают AI-ассистента.
задачи
- Создавать метрики качества для каждого продукта с учётом их специфики;
- Выстраивать и поддерживать Evaluation Harness;
- Внедрять LLM-as-a-judge: проектировать судей под конкретные задачи, заниматься их калибровкой и контролем смещений;
- Собирать ground truth датасеты и контролировать их качество;
- Участвовать в разработке и итерации промптов для продуктовых задач: генерации, классификации, извлечения информации, суммаризации;
- Формировать гипотезы о причинах деградаций и проверять их через эксперименты;
- Находить области для автоматизации ручной работы с помощью AI;
- Диагностировать просадки метрик: искать причины и локализовать проблемы;
- Внедрять лучшие практики в Evaluation Harness;
- Анализировать бизнес-метрики и эффект от внедрения LLM.
требования
- Более трёх лет коммерческого опыта работы с ML-решениями;
- Не менее одного года опыта работы с LLM/RAG;
- Опыт работы с OpenAI API, Hugging Face или их аналогами;
- Уверенное владение Python;
- Навыки работы с данными и построения аналитики;
- Умение измерять и улучшать качество LLM-продуктов;
- Будет плюсом опыт работы с evaluation-фреймворками (LM Evaluation Harness, OpenAI Evals, HELM или аналогами), опыт тонкой настройки сложных RAG-пайплайнов, участие в разработке диалоговых сервисов или AI-агентов.
условия
- Расширенная медицинская страховка с первого месяца работы, включающая плановую и неотложную помощь, лечение критических заболеваний, ментальное здоровье, ежегодные чекапы, стоматологию и коррекцию зрения;
- Оплата 30 дней больничного в году в полном объёме;
- Оплата ведения беременности и родов для сотрудников и их супруг (при стаже от двух лет);
- Страховка для родственников по системе 80/20;
- Наличие кабинетов терапевтов и психотерапевтов в крупных офисах.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.