Требуемый опыт работы: от 2х лет

Полная занятость, полный день

Удаленная работа

Data Engineer
Имя, Фамилия  
Ваш e-mail  
Страна  
Город  
Как вы нас нашли?  
Краткое сообщение о себе  
Ваше резюме  
  

Проекты одного из крупнейших
Российских Банков

Работа у нас:

  • Возможность участвовать в масштабном и долгосрочном проекте;

  • Удаленный формат работы;

  • Все, что нужно для успешной работы: мощное железо, компенсация расходов на мобильную связь;

  • Полностью официальная конкурентная заработная плата;

  • Оформление по ТК РФ в аккредитованной IT-компании (бессрочный Трудовой договор);

  • Отсрочка в рамках частичной мобилизации при наличии профильного высшего образования;

  • Расширенная программа ДМС для сотрудников и родственников;

  • Обучение и посещение конференций для развития своих навыков за счет компании;

  • Возможность карьерного роста в том числе за счет перехода между проектами;

  • Насыщенная корпоративная жизнь: выездные корпоративы, онлайн мероприятия, корпоративная библиотека, магазин подарков.

  • Отсутствие бюрократии, возможность принимать активное участие в жизни компании;

  • Оплачиваемая программа рекомендаций.

     

Обязанности:

  • Выполнение функциональных обязанностей в рамках проекта по развитию аналитического блока в Privat Banking;

  • Обеспечение загрузки необходимых данных в Data Lake или необходимые витрины данных;

  • Проектирование и разработка, тестирование и внедрение ETL процессов, используя ETL Framework и конвейер данных;

  • Реализация различных интеграций в гетерогенной среде с помощью Python/Spark;

  • Оптимизация существующего кода и используемых платформ;

  • Конфигурация потоков данных из систем источников, их мониторинг, своевременную модификацию, оптимизацию;

  • Оптимизация конвейера данных и ETL-процессов для поддержания процессов проверки качества данных;

  • Контейнеризация процессов загрузки/выгрузки данных в Data Lake.

Требования:

  • Опыт разработки приложений с использованием инструментария экосистемы Hadoop (Spark streaming, Hbase, Spark SQL, KAfka, Hive, Impala, Hue и т.д.);

  • Опыт разработки на Java / Python / Spark / Scala

    понимание принципов модели распределенных вычислений;

  • Опыт разработки ETL / Self service ETL процессов по наполнению данными Data Lake, формирование витрин данных на Hadoop желателен;

  • Опыт решения ETL/data engineering задач;

  • Опыт реализации интеграции в гетерогенных средах

    навыки работы с системами контроля версий / репозиториями кода на основе Git;

  • Успешный опыт работы в команде от 7 человек

    понимание методологий Agile/Scrum;

  • Знание Unix/Linux, навыки работы в shell;

  • Опыт развертывания Linux серверов/ контейнеров, использования скриптовых языков (Bash) как преимущество;

  • Базовые знания работы Kerberos как преимущество;

  • Знание и опыт работы с инструментами DevOPS рассматривается как преимущество.