Идемпотентность и бэкфилл

-- идемпотентно: владею партицией периода
DELETE FROM t WHERE dt = :run_date;
INSERT INTO t
SELECT ... WHERE dt = :run_date;

Проверьте себя

Пять вопросов из банка по этой подтеме. Всего их 11, остальные разбираются в тренажёре.

1. #idempotency_backfill1 / 5
   Почему слепой INSERT в задаче опасен при ретрае и что делать вместо него?

   A)Обычный INSERT при повторном ретрае безопасен и не создаёт дублей

   B)Ретрай задвоит строки; нужен upsert или delete-insert партиции

   C)Ретраи в пайплайнах данных не бывают, проблемы практически нет

   D)Дубли безопасно оставить — их отфильтруют при чтении витрины

   показать ответ и разбор

   +B)Ретрай задвоит строки; нужен upsert или delete-insert партиции

   // разбор: Если задача упала после частичной вставки, ретрай добавит строки повторно — получаются дубли, ломающие агрегаты. Идемпотентные приёмы: delete-insert (удалить партицию за период и вставить заново) или upsert/MERGE по ключу. Тогда сколько бы раз задача ни перезапускалась, результат один и тот же.

2. #idempotency_backfill2 / 5
   Что такое backfill и почему его нельзя делать без партиционирования по дате?

   A)Backfill — это просто одноразовый запуск сразу всего пайплайна за один текущий день

   B)Прошлые периоды не получится пересчитать, backfill не выходит

   C)Пересчёт истории по датам-партициям; без них будут дубли и пропуски

   D)Backfill обязательно требует полной остановки всех остальных пайплайнов системы

   показать ответ и разбор

   +C)Пересчёт истории по датам-партициям; без них будут дубли и пропуски

   // разбор: Backfill — пересчёт множества прошлых периодов (новая логика, поздние данные). Если данные партиционированы по дате, каждый период пересчитывается независимо и идемпотентно: перезаписал партицию — и всё. Без партиций пересчёт мешается с существующими строками, порождая дубли или пропуски и не давая безопасно повторить.

3. #idempotency_backfill3 / 5
   Чем at-least-once доставка отличается от exactly-once и почему это важно?

   A)Гарантия at-least-once обеспечивает, что каждое сообщение придёт строго ровно один раз без дублей

   B)At-least-once допускает повторы (нужна идемпотентность); exactly-once — ровно один эффект

   C)Это два синонимичных названия одной гарантии доставки сообщений

   D)Exactly-once означает, что часть сообщений теряется по пути

   показать ответ и разбор

   +B)At-least-once допускает повторы (нужна идемпотентность); exactly-once — ровно один эффект

   // разбор: At-least-once гарантирует, что сообщение не потеряется, но может прийти повторно (после сбоя/переотправки). Exactly-once — что эффект применится ровно один раз. Настоящий exactly-once дорог и не всегда возможен, поэтому на практике берут дешёвый at-least-once плюс идемпотентный обработчик (upsert по ключу) — и получают тот же результат по эффекту.

4. #idempotency_backfill4 / 5
   Что такое инкрементальная загрузка по high-water mark?

   A)Грузить только записи новее последней обработанной отметки (updated_at/id), а не всё заново

   B)На каждом запуске обязательно полностью перегружать сразу всю таблицу источника целиком с абсолютного нуля

   C)Грузить строки в полностью случайном порядке вообще без всякой отметки времени

   D)Хранить только самую последнюю строку таблицы, удаляя все прошлые записи

   показать ответ и разбор

   +A)Грузить только записи новее последней обработанной отметки (updated_at/id), а не всё заново

   // разбор: High-water mark — сохранённая отметка (максимальный updated_at или id), до которой данные уже загружены. Следующий запуск берёт только записи новее неё, резко сокращая объём против полной перезагрузки. Тонкость — записи, обновлённые задним числом (backdated): по updated_at их поймает CDC или окно пере-захвата, по возрастающему id — нет.

5. #idempotency_backfill5 / 5
   Нужно переналить (reprocess) месяц данных из-за найденного бага. Как не задвоить строки?

   A)Overwrite/delete-insert по партиции делает переналив идемпотентным

   B)Просто запустить обработку месяца ещё раз обычным INSERT — база сама не станет вставлять дубли

   C)Перед переналивом вручную один раз почистить всю таблицу целиком и залить заново весь месяц

   D)Добавить к каждой строке случайный идентификатор, чтобы дубли просто не совпадали между собой

   показать ответ и разбор

   +A)Overwrite/delete-insert по партиции делает переналив идемпотентным

   // разбор: Безопасный reprocess строят на идемпотентности по партициям: обработка каждой даты сначала удаляет её партицию в целевой таблице и вставляет заново (delete-insert) либо атомарно перезаписывает партицию (INSERT OVERWRITE). Тогда сколько раз ни запусти за 1 марта — в таблице ровно одна версия данных за 1 марта, без дублей. Это требует партиционирования по дате обработки и того, чтобы шаг зависел от logical_date интервала, а не от «сейчас». Слепой повторный INSERT без перезаписи как раз и задваивает.