sql-lineage
Строит карту зависимостей по SQL: откуда взялась колонка и что сломается, если таблица не пришла.
pg_depend, чтение планов EXPLAIN
Сначала — что происходит внутри базы, когда вы отправляете SELECT: парсер, планировщик,
executor, страницы heap и индекса, версии строк. Потом — десять проектов портфолио и то,
к какому механизму Postgres каждый из них привязан.
Клиент отправляет текст — база превращает его в дерево, переписывает, выбирает план по стоимости и отдаёт executor'у, который читает страницы. Каждая проверка качества данных в портфолио вмешивается в один из этих шагов.
Проверки качества данных бессмысленны, если не понимать, как база хранит и находит строки. Ниже — то, что чаще всего объясняют на собеседовании и на что опираются проекты.
Индексное чтение опускается по дереву от корня к листу. Отсюда требование к DQ-проверкам: предикат должен работать с индексируемой колонкой, а не с функцией от неё.
Планировщик выбирает по стоимости: если нужна почти вся таблица, дешевле прочитать её подряд. Поэтому «индекс есть» не значит «индекс используется» — это видно в плане.
EXPLAIN (ANALYZE, BUFFERS)UPDATE не перезаписывает строку, а создаёт новую версию. Каждая транзакция видит ту, что была актуальна на её снимок — поэтому читатели не блокируют писателей.
Каждый проект — рабочий CLI с тестами. У каждого в карточке указано, с каким механизмом PostgreSQL он работает: это и есть ответ на вопрос «а зачем это в продакшене».
Строит карту зависимостей по SQL: откуда взялась колонка и что сломается, если таблица не пришла.
pg_depend, чтение планов EXPLAINСверяет источник и приёмник после загрузки: потерянные строки, лишние, изменённые значения.
FULL JOIN и EXCEPT, сравнение нормализованных значенийЗагрузка, которую можно перезапускать: обновляет строки по бизнес-ключу и помнит, до какой даты приняла данные.
INSERT … ON CONFLICT DO UPDATE, транзакция на батч, журнал прогоновHTTP API с готовыми срезами: обороты клиента, сводка портфеля, статус проверок качества.
pg_stat_activity, агрегаты вместо чтения всей таблицыРазбирает логи nginx и приложения, считает пороги по окну и склеивает повторы в один алерт.
pg_stat_activity и wait_event — окно и дедупликацияПрофиль выгрузки: типы, доля NULL, квантили, поиск ИНН и карт, готовые DQ-проверки с порогами.
information_schema и pg_stats — но до загрузки в базуЗапускает шаги по графу зависимостей: параллелит независимые, повторяет упавшие, ведёт журнал.
pg_advisory_lock для «один прогон за раз», состояния задач в таблицеСчитает агрегаты по окнам времени события, отбрасывает дубликаты и показывает, сколько событий опоздало.
pg_logical_slot_get_changes — тот же поток «событие + время»Применяет пронумерованные миграции атомарно и замечает, если уже применённый файл отредактировали.
Меряет варианты одного запроса на одних данных: p50/p95, вклад индекса, проверка что результат одинаковый.
EXPLAIN (ANALYZE, BUFFERS), стоимость плана, выбор между seq и index scanБыстрая таблица: задача — механизм Postgres — проект, который с этим работает.
| Задача | Механизм PostgreSQL | Проект |
|---|---|---|
| Понять, откуда цифра в отчёте | зависимости объектов, планы запросов | sql-lineage |
| Проверить, что загрузка не потеряла строки | FULL JOIN, EXCEPT, сверка rowcount | recon-kit, DQ-контур |
| Перезапускать загрузку без дублей | ON CONFLICT DO UPDATE, транзакция | etl-watermark |
| Отдать цифры дашбордам | пул соединений, pg_stat_activity | bank-metrics-api |
| Не спамить алертами при инциденте | окно, дедупликация по fingerprint | logwatch |
| Принять новый источник данных | профиль колонок вместо pg_stats | csv-profiler |
| Запустить шаги обработки по порядку | pg_advisory_lock, состояние в таблице | mini-orchestrator |
| Считать поток событий с опозданиями | логическое декодирование, event time | stream-replay |
| Менять схему безопасно | DDL в транзакции, контроль дрейфа | sql-migrations |
| Выбрать быстрый вариант запроса | EXPLAIN ANALYZE, стоимость плана | perf-lab |