Data Analyst

Команда занимается аналитикой претрейн-модели Alice AI LLM, которая лежит в основе Алисы, Поиска и многих других продуктов Яндекса. Целью работы является улучшение модели через создание системы надёжных и разносторонних метрик и бенчмарков.

• Создавать метрики качества претрейна для всесторонней оценки модели;
• Интерпретировать результаты экспериментов и помогать разбираться в неожиданных или противоречивых данных;
• Анализировать точки роста модели, разбирать проблемы и участвовать в планировании решений.

• Опыт работы с метриками в NLP от 3 лет;
• Уверенное владение SQL и Python;
• Навыки анализа данных и построения процессов их обработки;
• Знание теории вероятностей и математической статистики;
• Интерес к развитию LLM;
• Самостоятельность и аккуратность;
• Будет плюсом опыт работы над LLM, построение агентских систем, опыт проведения крауд-разметки с системой контроля качества, свободное чтение на английском.

• Расширенная медицинская страховка с первого месяца, включая стоматологию, чекапы и неотложную помощь за рубежом;
• Страхование родственников по системе 80/20;
• Доступ к внутренней образовательной платформе, менторству и оплата участия в профильных конференциях;
• Наличие спортзалов в крупных офисах, корпоративные тренеры и скидки в фитнес-клубы;
• Гибкий график работы;
• Льготные жилищные займы для сотрудников российских офисов;
• Программы поддержки для родителей, включая страхование детей и подарки.