data engineer
генерация резюме под вакансию
сопроводительное письмо
описание
Компания занимается разработкой финтех-решений, обеспечивая работу с данными на высоких нагрузках.
задачи
- Проектировать схемы данных и писать высоконагруженные SQL-запросы для аналитических и OLTP-задач;
- Разрабатывать и поддерживать ETL/ELT-пайплайны, обеспечивая качество и консистентность данных;
- Оптимизировать производительность запросов: профилирование, анализ планов выполнения, выбор стратегий партиционирования и шардирования в ClickHouse;
- Участвовать в проектировании архитектуры хранения данных, выбирая подходящий движок под конкретную задачу;
- Взаимодействовать с бэкенд-командой для интеграции слоя данных с сервисами приложения;
- Документировать решения, схемы и подходы для команды.
требования
- Уверенное владение SQL: сложные аналитические запросы, оконные функции, CTE, подзапросы;
- Опыт работы с ClickHouse от 3 лет: понимание архитектуры колоночного хранения, движков таблиц, материализованных представлений, настройки репликации и шардирования;
- Понимание принципов проектирования схем данных для OLAP-систем;
- Опыт работы с большими объёмами данных (десятки и сотни миллиардов строк);
- Навыки профилирования и оптимизации запросов;
- Знакомство с Linux на уровне уверенного пользователя;
- Будет плюсом опыт работы с YDB, MySQL, MariaDB, инструментами миграции данных (Debezium), понимание принципов распределённых систем и CAP-теоремы.
условия
- Возможность гибкого графика.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.