Стажер Data Engineer [МТС Аналитика, МТС Веб Сервисы]
Поделиться
Описание вакансии
МТС Аналитика – это единая аналитическая платформа для анализа поведения пользователей в web и app приложениях экосистемы МТС.;
Наша цель – эффективная рекламная атрибуция, обогащенные Big Data полезные данные о когортах, кросс-продуктовый пользовательский путь и LTV пользователя и продукта, сдобренные собственным UI для визуализации метрик и командной работы.;
Наши преимущества:;
Опытные и отзывчивые коллеги, которые готовы ответить на любые вопросы;
Многие компоненты создаются с «нуля»;
Сложный и большой проект, в котором можно многому научиться.
Чем предстоит заниматься
Осуществлять разработку ETL pipeline над большими данными;
Оптимизировать существующие дата процессы;
Формировать проверки Data Quality;
Поддерживать высоконагруженные потоковые сервисы;
Настраивать алертинг и мониторинг процессов.
Что мы ожидаем
Основы computer science (алгоритмов);
Знание ЯП для работы с BigData;
В нашем случае Python (стандартные библиотеки: numpy, pandas, requests);
Умение писать аналитические SQL запросы;
Опыт работы в нескольких диалектах SQL;
Пользователь Linux, git;
Будет большим плюсом:;
PySpark - понимание параметров Spark сессии и планов запросов;
Понимание архитектуры MPP баз данных - Clickhouse;
Опыт работы с брокерами сообщений - Kafka; Понимание зачем и как работает CI/CD;
Умение перезапустить и понять ошибку из лога; Понимание хранилища HDFS - умение организовывать файлы нужного размера и сортировки, взаимодействие через cli;
Основы построения хранилищ данных, слои и архитектурные подходы;
Опыт работы с инструментами оркестрации процессов (мы используем Apache Airflow);
Умение писать различные виды тестов (в том числе unit-тесты) с помощью pytest.
Что мы предлагаем
Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах;
Профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом;
Внутреннюю площадку TechTalks для обмена опыт ом, дискуссий, развития навыков самопрезентации. Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference! полезные курсы и вебинары в корпоративном университете и электронные библиотеки.
Полный
Без опыта работы
лови момент — подпишись на рассылку свежих вакансий
Заполни, пожалуйста, форму. Это займёт всего пару минут.