Big Data – один из ключевых юнитов МТС

Сегодня Big Data – это: 20 петабайт данных, 5 000 метрик на профиль и 400 увлеченных профессионалов в команде

Команда центра Big Data находится в поиске Data Engineer на продукт Golden Record

Продукт Golden Record – мастер-система по управлению клиентскими данными в экосистеме МТС.

Один из ключевых активов практически любого бизнеса – это клиенты. Для них МТС создает лучшие продукты, сервисы и услуги. Golden Record – команда профессионалов в создании высоконагруженных систем управления клиентскими данными. Мы храним и обрабатываем персональные данные, а также формируем широкий профиль клиента экосистемы, собирая информацию от наших индустрий телекома, онлайн-кинотеатра, музыки и других цифровых сервисов. Наша задача знать о клиенте все, чтобы предоставить эти знания бизнесу для персональных рекомендаций, повышения эффективности маркетинговых кампаний, непрерывного улучшения обслуживания клиентов и продвинутой аналитики.

Чем предстоит заниматься

Процессить данные, собирать витрины с помощью pyspark на хадуп-кластере (постановка – от аналитиков);
Выстраивать регламенты обработки данных (Airflow);
Настраивать ETL процессы загрузки данных через стриминги (kafka);
Решать проблемы с качеством данных: матчинг сущностей, дедупликации, нормализации;
Осуществлять работы по повышению отказоустойчивости и скорости работы дата части сервисов

Что мы ожидаем

Знание и опыт работы с Python;
Знание и опыт работы с SQL;
Опыт работы с Spark, Hive, Hadoop;
Знание PostgeSQL;
Знание Git;
Желателен опыт работы с Kafka;
Будет плюсом опыт с Cassandra, Scylla;
Будет плюсом знакомство с библиотекой onETL-
Https://github.com/MobileTeleSystems/onetl

Что мы предлагаем

График работы: плавающее начало рабочего дня, гибридный график (или возможность работать из дома);
ДМС с 1 месяца работы, куда включены: стоматология, страхование жизни и страховка при поездках за рубеж;
Десятки курсов и тренингов в Корпоративном университете МТС и Собственная виртуальная библиотека;
Корпоративный психолог и карьерный коуч;
Спорт: спортзал в офисе, компенсация фитнес-абонемента, бассейна, скидка в «Alex fitness», «Spirit fitness», «World class» и др.;
Well-being: бесплатный фреш-бар, массажный кабинет, массажные кресла и массаж на рабочем месте;
Бесплатная сотовая связь, выгодные тарифы для ваших близких, промокод на онлайн-кинотеатр KION и бесплатная подписка на МТС Premium;
Программа «Invite IT» (реферальная программа поощрения за рекомендацию ИТ-специалиста)

Детальная страница вакансии

Middle Data Engineer [Golden Record] Big Data

Описание вакансии

Чем предстоит заниматься

Что мы ожидаем

Что мы предлагаем