Разработчик Python, ETL, Senior/Lead

deeplay решает задачи игровой индустрии. С использованием искусственного интеллекта, сложных аналитических подходов и прочих пафосных слов. Все эти пафосные слова любят хорошие, чистые данные. Которые удобно и правильно лежат, вовремя добавляются, редко ломаются, etc. Само по себе так случается редко, поэтому у нас есть несколько команд программистов, насильно приводящих данные к хорошему виду. Работы становится всё больше, так что мы хотим расширить команду и нанять программиста на Python в команду ETL. В частности, мы очень хотим найти человека, который сможет лидить команду. То есть спорить с Head of Data про планируемую архитектуру, декомпозировать и доводить до прода довольно крупные задачи, не давать сокомандникам расслабиться в культуре кода, много и красноречиво вещать в ответ на фразы вида «ну это ж Merge Request, там не обязательно код читать».Задачи:
Внезапно, ETL. Надо собирать данные из очень, очень разных мест. Прямо даже нетривиальная архитектура иногда встречается. Лямбда-архитектуру мы пока зарубили, а вот стрим-процессинг есть; Всё в прод-режиме: надо документировать, пихать в шедулер, делать тесты и мониторинг. Девопсы есть и они хорошие, так что это не так уж и больно; Поддерживать и чинить уже запущенные ETL тоже надо. Если сможешь писать так, чтобы было надо пореже, все обрадуются =) Писать нетривиальный парсинг данных иногда надо. Можно взять аналитика и смотреть в его чистые глаза, пока он не выдаст готовый алгоритм. Можно пробовать самому, если скиллы позволяют; Слушать бизнес тоже надо, увы. Изредка, но всё же. Не все задачи от бизнеса приходят хорошо и аккуратно сформулированными. Тут тоже можно позвать на помощь аналитика, они с бизнесом общаются больше и понимать их уже научились; Рядом крутятся хранилища (clickhouse, minio и ещё по мелочи) и BI системы (Tableau). Их не надо ронять и очень желательно не клинить. Админы у них, конечно, есть, и хорошие. Но если вдруг есть опыт/понимание, как идеально по канону с ними работать — круто.
Стэк, ну вдруг тебе интересно:
Clickhouse как аналитический data lake, minio как технический; Airflow как шедулер; Кластер на kubernetes для вечных приложений; Kafka как шина данных для не-реалтайм потребления; Prometheus+grafana для мониторинга; Хороший самописный велосипед на основе клика для логов; Очень проактивный лид архитектуры рядом, который с радостью затащит попробовать любую новую вещь, которую хочется пощупать.
И, конечно, условия:
Гибкий график и удаленная работа (команда разработки распределена по всей России, и процессы налажены сквозь часовые пояса); Если хочется офисной жизни — у нас есть хорошие офисы в Омске, Новосибирске, и Санкт-Петербурге; ​​​​​​​Современный стек с малым количеством велосипедов; ​​​​​​​ Разнообразие задач по ETL, особенно в E части; ​​​​​​​Аналитики и MLщики прямо рядом, если хочется порасти вбок — велкам; ​​​​​​​Высокая зарплата (готовы идти навстречу сильному кандидату); ​​​​​​​Оплата обучения внутри и вне компании.

Добавить комментарий

Ваш адрес email не будет опубликован.