sql / portfolio
PostgreSQL · анимированная карта портфолио

Как PostgreSQL обрабатывает запрос — и где в этом процессе живут десять инструментов

Сначала — что происходит внутри базы, когда вы отправляете SELECT: парсер, планировщик, executor, страницы heap и индекса, версии строк. Потом — десять проектов портфолио и то, к какому механизму Postgres каждый из них привязан.

Путь одного запроса

Клиент отправляет текст — база превращает его в дерево, переписывает, выбирает план по стоимости и отдаёт executor'у, который читает страницы. Каждая проверка качества данных в портфолио вмешивается в один из этих шагов.

Клиент SQL-текст Парсер дерево разбора Rewrite правила, views Планировщик выбор по стоимости Executor Seq / Index Scan Данные heap + index
· текст запроса превращается в дерево один раз — дальше работают структуры · стоимость плана считается по статистике таблиц · страницы heap и индекса читаются в buffer cache

Три механизма, на которых всё держится

Проверки качества данных бессмысленны, если не понимать, как база хранит и находит строки. Ниже — то, что чаще всего объясняют на собеседовании и на что опираются проекты.

B-tree: три чтения вместо перебора

Индексное чтение опускается по дереву от корня к листу. Отсюда требование к DQ-проверкам: предикат должен работать с индексируемой колонкой, а не с функцией от неё.

50 | 150 10 | 30 50 | 90 150 | 210
CREATE INDEX · EXPLAIN ANALYZE

Seq Scan против Index Scan

Планировщик выбирает по стоимости: если нужна почти вся таблица, дешевле прочитать её подряд. Поэтому «индекс есть» не значит «индекс используется» — это видно в плане.

Seq Scan cost 0..1840
Index Scan cost 0..12
EXPLAIN (ANALYZE, BUFFERS)

MVCC: у строки несколько версий

UPDATE не перезаписывает строку, а создаёт новую версию. Каждая транзакция видит ту, что была актуальна на её снимок — поэтому читатели не блокируют писателей.

v1balance = 1 000xmin 100
v2balance = 1 500xmin 200
v3balance = 1 200xmin 300
xmin / xmax · VACUUM

Десять инструментов

Каждый проект — рабочий CLI с тестами. У каждого в карточке указано, с каким механизмом PostgreSQL он работает: это и есть ответ на вопрос «а зачем это в продакшене».

01

sql-lineage

Строит карту зависимостей по SQL: откуда взялась колонка и что сломается, если таблица не пришла.

PostgreSQL: зависимости объектов, pg_depend, чтение планов EXPLAIN
02

recon-kit

Сверяет источник и приёмник после загрузки: потерянные строки, лишние, изменённые значения.

PostgreSQL: сверка через FULL JOIN и EXCEPT, сравнение нормализованных значений
03

etl-watermark

Загрузка, которую можно перезапускать: обновляет строки по бизнес-ключу и помнит, до какой даты приняла данные.

PostgreSQL: INSERT … ON CONFLICT DO UPDATE, транзакция на батч, журнал прогонов
04

bank-metrics-api

HTTP API с готовыми срезами: обороты клиента, сводка портфеля, статус проверок качества.

PostgreSQL: пул соединений, pg_stat_activity, агрегаты вместо чтения всей таблицы
05

logwatch

Разбирает логи nginx и приложения, считает пороги по окну и склеивает повторы в один алерт.

PostgreSQL: те же приёмы, что для pg_stat_activity и wait_event — окно и дедупликация
06

csv-profiler

Профиль выгрузки: типы, доля NULL, квантили, поиск ИНН и карт, готовые DQ-проверки с порогами.

PostgreSQL: то же, что даёт information_schema и pg_stats — но до загрузки в базу
07

mini-orchestrator

Запускает шаги по графу зависимостей: параллелит независимые, повторяет упавшие, ведёт журнал.

PostgreSQL: pg_advisory_lock для «один прогон за раз», состояния задач в таблице
08

stream-replay

Считает агрегаты по окнам времени события, отбрасывает дубликаты и показывает, сколько событий опоздало.

PostgreSQL: логическая репликация и pg_logical_slot_get_changes — тот же поток «событие + время»
09

sql-migrations

Применяет пронумерованные миграции атомарно и замечает, если уже применённый файл отредактировали.

PostgreSQL: DDL внутри транзакции, контрольные суммы в журнале, блокировка от параллельного применения
10

perf-lab

Меряет варианты одного запроса на одних данных: p50/p95, вклад индекса, проверка что результат одинаковый.

PostgreSQL: EXPLAIN (ANALYZE, BUFFERS), стоимость плана, выбор между seq и index scan

Кто за что отвечает

Быстрая таблица: задача — механизм Postgres — проект, который с этим работает.

ЗадачаМеханизм PostgreSQLПроект
Понять, откуда цифра в отчётезависимости объектов, планы запросовsql-lineage
Проверить, что загрузка не потеряла строкиFULL JOIN, EXCEPT, сверка rowcountrecon-kit, DQ-контур
Перезапускать загрузку без дублейON CONFLICT DO UPDATE, транзакцияetl-watermark
Отдать цифры дашбордампул соединений, pg_stat_activitybank-metrics-api
Не спамить алертами при инцидентеокно, дедупликация по fingerprintlogwatch
Принять новый источник данныхпрофиль колонок вместо pg_statscsv-profiler
Запустить шаги обработки по порядкуpg_advisory_lock, состояние в таблицеmini-orchestrator
Считать поток событий с опозданиямилогическое декодирование, event timestream-replay
Менять схему безопасноDDL в транзакции, контроль дрейфаsql-migrations
Выбрать быстрый вариант запросаEXPLAIN ANALYZE, стоимость планаperf-lab