Junior Data Engineer в DataHouse [Big Data, МТС Веб Сервисы] в Москва

МТС — это мультисервисная цифровая экосистема. Мы создаём и развиваем сервисы в сфере мобильной связи, больших данных, искусственного интеллекта, облачного хранения, медиа и финансов — все они делают жизнь людей проще и интереснее.

Big Data – один из ключевых юнитов МТС. Наши технологии применяются практически во всех направлениях компании - финансы, маркетинг, обслуживание, планирование сети, HR, розница.

Команда центра Big Data находится в поиске Junior Data Engineer в DataHouse.

DataHouse – data-продукт, который обеспечивает доступ к структурированным (централизованным) данным различных индустрий экосистемы, позволяющим осуществлять основные бизнес-функции компании: подготовка рекламных кампаний, финансовый контроллинг, экосистемная аналитика, построение CLV, клиентский сервис, отчетность.

Чем предстоит заниматься

Разрабатывать и оптимизировать ETL-процессы на стеке Hadoop;
Делать интеграцию с источниками и анализ данных: исследование новых источников (ClickHouse, Kafka, Oracle, GP), оценка объемов и структуры данных;
Заниматься построением продуктовых витрин в Data Vault: разработка витрин согласно прототипу по бизнес требованиям заказчика;
Разрабатывать DQ-проверки (отслеживание дублей, NULLов, аномалий, настройка алертинга);
Оптимизировать общие процессы в рамках продукта: рефакторинг кода;
Развивать внутренние библиотеки продукта

Что мы ожидаем

Хорошее знание Python;
Знание SQL на уровне написания сложных запросов (большой вложенности) и оконных функций;
Коммерческий опыт со Spark (PySpark, оптимизация производительности);
Опыт работы с Airflow (разработка, оркестрация и мониторинг DAGов);
Опыт работы с Git

Что мы предлагаем

Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах Профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом;
Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;
Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference!;
Полезные курсы и вебинары в корпоративном университете и электронные библиотеки;
Медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
Единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium Скидки и предложения от партнеров на фитнес, занятия английским и прочее

Детальная страница вакансии