Вопросы на собеседовании Data Engineer: DWH, ETL, Spark, Kafka

Дата-инженер строит трубы, по которым данные текут из источников в хранилища и витрины, надёжно и без потерь. Поэтому собеседование шире аналитического: мало достать данные запросом, надо спроектировать хранилище, наладить пайплайн и сделать так, чтобы он не падал по ночам. Разберём блоки, которые спрашивают.

Моделирование хранилища (DWH)

Фундамент профессии. Проверяют, понимаете ли вы, как устроены аналитические хранилища.

Схема «звезда». Центральная факт-таблица (события, транзакции) и вокруг таблицы измерений (пользователи, товары, даты). Спросят, чем факт отличается от измерения: факт это то, что измеряем и агрегируем, измерение это то, в разрезе чего.
SCD (медленно меняющиеся измерения). Как хранить историю изменений: перезаписывать или версионировать. Классика на понимание, что данные меняются во времени.
Слои и нормализация. Зачем в DWH разные слои (сырой, очищенный, витрины) и где нормализация уместна, а где данные сознательно денормализуют ради скорости чтения.

ETL и оркестрация

Как данные ходят по расписанию.

DAG. Направленный ациклический граф задач в оркестраторе вроде Airflow. Спросят, чем задача (оператор) отличается от самого DAG.
Идемпотентность и бэкфилл. Почему пайплайн должен давать один результат при повторном запуске и как без этого не переживёшь перезаливку истории (backfill). Один из важнейших вопросов на зрелость.
Качество данных. Как ловить битые данные до того, как они попадут в витрины: проверки, тесты, алерты.
dbt. Трансформации прямо в хранилище, версионируемые как код.

Spark и большие данные

Когда данные не влезают в одну машину.

RDD и DataFrame. Что это концептуально: распределённая коллекция, которую Spark считает на кластере.
Трансформации против действий. Трансформации (map, filter) ленивы и только строят план, действия (count, collect) запускают вычисление. Любимый вопрос на понимание ленивости Spark.
Оптимизация. Что такое shuffle и почему он дорогой, как борются с перекосом данных (skew), зачем следят за партициями.

Стриминг и Kafka

Когда данные надо обрабатывать на лету.

Batch против streaming. Обработка пачками по расписанию или потоком в реальном времени, и что когда выбирать.
Kafka. Что такое топик и партиция, как устроено масштабирование чтения через группы потребителей.
Семантика доставки. At-least-once, at-most-once, exactly-once: чем отличаются и почему exactly-once так трудно обеспечить.

SQL никуда не девается

Даже с Spark и Kafka SQL остаётся базовым инструментом дата-инженера: оконные функции, сложные джоины, оптимизация запросов. Разбор есть в посте про SQL и оконные функции.

Как готовиться

DE-собес широкий и технический: DWH, пайплайны, Spark, стриминг, SQL. Прочитать мало, нужно понимать, почему идемпотентность важна и откуда берётся shuffle, чтобы отвечать на уточнения.

В Сеньорчике трек Data Engineer собран под эти темы: моделирование DWH, ETL и оркестрация, Spark, стриминг, ClickHouse и Greenplum, вопросами с разбором в коротких сессиях, а движок возвращает слабые темы. Живые вопросы есть в подборке для Data Engineer. Начать можно бесплатно.