МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Также мы запустили новую публичную платформу собственной разработки — MWS Cloud Platform.

Мы ищем опытного дата-инженера для разработки и автоматизации ETL-процессов на проекте ГИС "Антифрод". Наша команда проектирует и разрабатывает высоконагруженную ETL-платформу для сбора, агрегации, управления и передачи данных с сетевых систем оператора связи МТС (DPI, MME, CGNAT и др.).

Чем предстоит заниматься

Проектировать архитектуру, согласовывать требования, выбирать технологии и средства реализации решений;
Планировать и реализовывать ETL-процессы, включая формирование источников нормализованных событий с контекстом, реализацию мультифакторной корреляции, профилирование устройства и абонента, передачу сигналов в ГИС;
Тестировать и автоматизировать запуск ETL-конвейеров;
Автоматизировать доставку, установку и обновление ПО и конфигураций;
Мониторить и исследовать проблемы производительности ETL-процессов в облачной инфраструктуре;
Участвовать в процессах автоматизации сценариев функционального, интеграционного и нагрузочного тестирования ПО;
Работать с дефектами, вести документацию по решению.

Что мы ожидаем

Знание технологий обработки данных в реальном времени;
Опыт проектирования и реализации ETL-процессов «под ключ», включая создание компонентов автоматизации;
Навыки написания пайплайнов и автоматизации процессов на Python;
Уверенное знание SQL;
Опыт создания Spark-приложений для распределенной потоковой обработки больших данных;
Опыт работы с брокерами сообщений (Kafka);
Умение оркестрировать ETL-задачи с помощью Airflow или аналогов;
Навыки проектирования и поддержки различных СУБД (ClickHouse, Greenplum и др.);
Опыт работы с микросервисной архитектурой, Docker и Kubernetes;
Опыт работы с Git/GitLab.
БУДЕТ ПЛЮСОМ:
Опыт работы с S3.

Что мы предлагаем

Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах;
Профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference!
Полезные курсы и вебинары в корпоративном университете и электронные библиотеки.
А ЕЩЕ:
Медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
Единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium;
Скидки и предложения от партнеров на фитнес, занятия английским и прочее;
Отпуск 28 календарных дней + 3 дополнительных дня за ненормированный/гибкий рабочий день;
Гибридный и удаленный формат в зависимости от локации в рамках РФ.

Полный день

3-6 лет

Детальная страница вакансии

Senior Data Engineer [DPI Антифрод]

Описание вакансии

Чем предстоит заниматься

Что мы ожидаем

Что мы предлагаем