Data Platform Lead Engineer

Описание

Описание проекта: Развитие и сопровождение системы класса CDP (Customer Data Platform); Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical; Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing); Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах. Чем предстоит заниматься: Проектировать архитектуру системы (Online и Offline профиль клиента) и её компоненты, определять стек технологий, оформлять архитектурные решения (ADR); Принимать ключевые решения по модели данных, хранению историчности (SCD), обеспечению качества и непрерывной поставки данных; Разрабатывать архитектуру интеграционного слоя системы с 20+ системами-источниками; Обеспечивать соответствие требований системы категории Business Critical; Управлять жизненным циклом разработки (SDLC); Формировать стратегию развития проекта на горизонте нескольких лет; Выстраивать процессы CI/CD, а также системы мониторинга и логирования на уровне всей системы, формировать процессы управления инцидентами; Управлять командой разработки, бэклогом, рисками; Коммуницировать с представителями бизнеса. Наши ожидания: Опыт работы от 5 лет в инженерных ролях с данными, из них 2+ года в роли TechLead/TeamLead с реальной ответственностью за команду и систему; Практический опыт разработки CDP/MDM/GoldenRecord/Customer360 уровня Business Critical; Опыт и экспертиза в разработке Streaming-систем на базе Kafka, Flink/Spark/Java; Опыт проектирования высоконагруженных API (REST, GraphQL); Уверенное владение Java, практическое понимание Python и Airflow, а также опыт работы с СУБД SQL/NoSQL (PostgreSQL, ClickHouse, Redis); Практическое понимание и конфигурация CI/CD, мониторинга, логирования; Приветствуется навык работы с ИИ-инструментами для оптимизации процессов разработки и аналитики. Наш стек: Java — основной язык для потоковой (streaming) обработки и интеграционного слоя; Python — основной язык для DAGs Airflow (оркестрация батч-потоков, DQ-пайплайны); Стриминг: Kafka; Оркестрация: Airflow; Основные СУБД: PostgreSQL, ClickHouse, Redis; Интеграционный слой: REST, GraphQL. Мы предлагаем: Работу среди профессионалов финансового рынка; Насыщенную корпоративную жизнь; Возможность карьерного роста и профессионального развития; Стабильный конкурентный доход; Оформление согласно ТК РФ; Комфортный офис в центре (м. Проспект Мира); График работы 5/2 с 9:30 до 18:00, удаленный формат работы; ДМС, корпоративные скидки и предложения для сотрудников.

Условия