Детальная страница вакансии

Вакансия в архиве
Вы можете найти и откликнуться на похожие
Смотреть вакансии
Москва

Работа в IT

ООО "КИОН"

Полный день

Удалённая работа

3-6 лет

Data Engineer (ON Медиа, КИОН)

Поделиться

Описание вакансии

КИОН - это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наш флагманский проект — современный онлайн-кинотеатр KION который предлагает более 200 телеканалов, тысячи фильмов, сериалов, мультфильмов и документальных проектов.



Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

Чем предстоит заниматься

  • Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;
  • Разработка и поддержка OLAP движков Starrocks/Clickhouse;
  • Поддержка текущих пайплайнов на Greenplum и Hadoop;
  • Миграция с HDFS на S3;
  • Оптимизация spark-приложений

Что мы ожидаем

  • Опыт работы с Python от 3 лет;
  • Глубокое знание SQL и опыт работы с большими данными;
  • Опыт работы с Apache Airflow;
  • Опыт проектирования и разработки ETL/ELT процессов;
  • Опыт работы с колоночными БД (ClickHouse);
  • Знание принципов построения Data Warehouse и Data Lake;
  • Понимание разницы между OLTP/OLAP системами;
  • Уверенная работа c linux и git;
  • Понимание процессов ci/cd;

Что мы предлагаем

  • Оклад + годовой бонус;
  • Программа ДМС с первого месяца работы - это 100% покрытие расходов в частных клиниках, включая стоматологию. Застраховать близких родственников можно со скидкой 50%. Для любителей путешествий - страховка в поездках за границу. А еще есть страхование жизни;
  • Очное и онлайн-обучение в Корпоративном университете, у внешних провайдеров, если это полезно для работы, обмен опытом во внутренних профессиональных сообществах, а также доступ к онлайн-библиотеке в полезными книгами и периодикой;
  • Оплачиваемые выходные на значимые события в жизни сотрудника;
  • Материальная помощь в сложных жизненных ситуациях;
  • Корпоративная мобильная связь + интернет, а так же единая подписка МТС Premium (онлайн кинотеатр KION, сервис МТС Music, МТС Строки и т.д.);
  • Предложения от партнёров для путешествий, развлечений и занятий спортом;
  • Возможность участия в волонтерских программах: мы организуем благотворительные ярмарки, образовательные проекты для детей, конкурсы социальных проектов и экологические проекты;
  • Внутренняя спортивная программа «В движении» : забеги, марафоны, турниры по разным видам спорта, медитации и занятия на баланс

Полный день

3-6 лет

Полный день

3-6 лет

Ещё варианты

Ещё варианты