Бэкапы базы и восстановление на точку

Логическая и физическая копия

Логическая копия - это текст: команды создания таблиц и данные для загрузки. Она маленькая (у меня 3,3 мегабайта против 51,3), переносима между версиями базы и разными машинами, позволяет достать одну таблицу. Восстановление - это выполнение всех этих команд заново: у меня 200 тысяч строк восстановились за 324 миллисекунды, а на большой базе это часы, потому что заново строятся все индексы - вспомогательные структуры, по которым база быстро находит нужные строки.

Физическая копия - побайтовая копия каталога базы вместе со служебными файлами. Она больше, привязана к версии и к платформе, зато восстанавливается простым копированием обратно и годится как основа для реплики - второй базы, которая повторяет за основной все изменения. На больших базах разница в скорости восстановления решает всё.

// Отсюда обычная связка: физические копии как основной способ восстановления, логические - как страховка и способ переехать. И главное: копия, которую ни разу не восстанавливали, копией не считается. Проверка восстановления - отдельная регулярная процедура, где замеряют, сколько времени она заняла: именно это число потом обещают бизнесу.

логическая копия

текст с командами создания и данными; переносима, но восстанавливается долго

физическая копия

побайтовая копия каталога базы; быстро возвращается, но привязана к версии

Почему копия снимается полчаса

Вот та самая находка. Перед физической копией база делает контрольную точку - сбрасывает на диск все изменения, которые пока лежат только в памяти. По умолчанию она РАСТЯГИВАЕТ эту работу во времени, чтобы не мешать обычной нагрузке. Мой замер: копия с настройками по умолчанию снималась 54 525 миллисекунд, из которых почти всё - ожидание растянутой контрольной точки. Та же копия с требованием сделать контрольную точку немедленно - 487 миллисекунд.

Практический вывод: если копия снимается подозрительно долго при небольшой базе, дело почти наверняка не в объёме данных и не в диске. И выбор тут осознанный: немедленная контрольная точка даёт всплеск записи на диск, растянутая бережёт нагрузку, но заставляет ждать.

// Второй расход при копии - журнал предзаписи. Все изменения сначала попадают в него, и уже потом в файлы данных. Замерил его аппетит: вставка 300 тысяч строк в таблицу размером 13 мегабайт продвинула журнал на 41 мегабайт. Журнал растёт быстрее самих данных, и место под него планируют отдельно.

контрольная точка

сброс на диск изменений, накопленных в памяти

WAL

журнал предзаписи (write-ahead log): изменения пишутся туда раньше, чем в файлы данных

Восстановление на точку во времени

Восстановление на момент до ошибки - это PITR (point-in-time recovery), и собирается оно из двух частей: полной копии и всех записей журнала предзаписи, накопленных после неё. Порядок такой: разворачиваем копию, подкладываем архив журнала, говорим «проигрывай до такого-то момента» и запускаем. База проигрывает изменения по одному и останавливается там, где сказано.

Отсюда два числа, которые надо назвать вслух до аварии, а не после. Сколько данных допустимо потерять - это определяет, как часто архивируется журнал. И сколько времени допустимо восстанавливаться - это определяет, как часто снимать полную копию, потому что чем она старее, тем дольше проигрывать журнал.

// Три вещи, которые ломают эту схему на практике. Архив журнала лежит рядом с базой на том же диске - тогда авария диска уносит и копию, и журнал. Архивация журнала отвалилась месяц назад, и никто не заметил, потому что базу это не тормозит. И самое частое: восстановление ни разу не проверяли, поэтому реальное время неизвестно, а обещанное взято с потолка.

PITR

восстановление на точку во времени (point-in-time recovery): копия плюс журнал

архив журнала

накопленные записи журнала предзаписи; хранятся ОТДЕЛЬНО от базы

Как отвечать: «Чем логическая копия отличается от физической и что брать?»

Логическая - это текст с командами создания и данными: маленькая, переносится между версиями, позволяет достать одну таблицу, но восстанавливается медленно, потому что заново выполняет все команды и строит индексы. Физическая - побайтовая копия каталога базы: больше, привязана к версии и платформе, зато возвращается копированием обратно и годится как основа для реплики. Я мерил на одной и той же базе: логическая 3,3 мегабайта, физическая 51,3. На проде обычно берут физические как основной способ и логические как страховку и способ переехать. И отдельно назову две вещи, о которых спрашивают следом. Первая: время снятия копии определяется не размером, а контрольной точкой - у меня одна и та же копия снималась 54 секунды с настройками по умолчанию и полсекунды с требованием немедленной контрольной точки. Вторая: копия, которую ни разу не восстанавливали, копией не считается.

Ответ сравнивает по трём осям сразу и заканчивается двумя практическими вещами. Про контрольную точку и про непроверенные копии обычно молчат, а именно они и стреляют.

На чём валятся

• −Держат единственную логическую копию большой базы и обнаруживают, что восстановление занимает часы.
• −Считают, что долгая копия означает медленный диск, и не смотрят на контрольную точку.
• −Кладут архив журнала рядом с базой: авария диска уносит и копию, и журнал.
• −Не следят за архивацией журнала: она отваливается молча, база от этого не тормозит.
• −Ни разу не проверяли восстановление и называют время наугад.