Middle Data Engineer [Скоринг] Big Data в Москва

Big Data – один из ключевых юнитов МТС.

Сегодня Big Data – это: 20 петабайт данных, 5 000 метрик на профиль и 400 увлеченных профессионалов в команде.;

Команда центра Big Data находится в поиске Data Engineer на продукт Скоринг;

Big Data Скоринг – это современный B2B продукт для управления рисками. Он минимизирует затраты компаний при ведении бизнеса и состоит из двух модулей:

1. Рисковый скоринг обеспечивает быстрое и объективное определение кредитных рисков

2. Антифрод скоринг обнаруживает и предотвращает действия мошенников;

Благодаря передовым технологиям и алгоритмам машинного обучения Big Data Скоринг обеспечивает бизнесу защиту от кредитных рисков и мошенничества.;

Стек: Python, Hadoop, Airflow, Clickhouse, Kafka, Spark

Чем предстоит заниматься

Выбирать оптимальную структуру хранения данных;
Оптимизировать запросы sql/spark;
Ставить на регламент ETL процессы: расчет моделей и сборки витрин фичей;
Внедрять контроль качества данных;
Заниматься написанием тестов на существующий и разрабатываемый функционал;
Строить интеграции с внешними источниками данных

Что мы ожидаем

Хорошее знание Python;
Коммерческий опыт со Spark (работа с большими объемами данных);
Опыт работы с экосистемой Hadoop, понимание хранилища HDFS;
Отличное знание SQL, опыт работы в нескольких диалектах SQL;
Опыт работы с любым оркестратором (желательно Airflow);
Будет плюсом работа с брокерами сообщений на уровне пользователя (Kafka), опыт работы с нереляционными БД (Redis/Clickhouse), понимание ML, опыт работы в команде с DS, знакомство с библиотекой onETL-
Https://github.com/MobileTeleSystems/onetl

Что мы предлагаем

График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома);
ДМС с 1 месяца работы, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж;
Десятки курсов и тренингов в Корпоративном университете МТС и Собственная виртуальная библиотека;
Корпоративный психолог и карьерный коуч;
Спорт: спортзал в офисе, компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др.;
Well-being: бесплатный фреш-бар, массажный кабинет, массажные кресла и массаж на рабочем месте;
Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium;
Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста)

Детальная страница вакансии