Шесть проектов на одном стеке: Airflow, Spark, Kafka, DWH, Data Quality
Не набор скриншотов, а работающий код: ночной батч в DDS и DM со SCD2,
стриминг из Kafka с дедупликацией, декларативный DQ-движок с метриками,
витрины ClickHouse с измеренным бенчмарком, реконсиляция при миграции DWH
и игра про backpressure. Каждый проект можно открыть, прочитать и запустить.
Колоночная модель поверх того же факта: ReplacingMergeTree,
пред-агрегат на AggregatingMergeTree и скрипт, который мерит
каждое решение вместо пересказа туториалов.
Как доказать, что миграция не потеряла данные, не вычитывая миллиарды строк:
подпись по бакетам, diff по ключам, diff по колонкам — и exit-код как
cutover-гейт.
Бакеты по hashtext/cityHash64: агрегат вместо полного чтения
Сеточная головоломка: поворачивай модули кликом и доведи чистые записи до
витрины, а грязные уведи через Clean в карантин. Пока труба дырявая,
записи стоят в тупике и теряются.
Топология важнее скорости: без соединения поток не идёт вообще
Clean — это DQ: грязная уходит вбок, забыл повернуть — протечка в DWH
Backpressure: тупик держит запись 2.5 с, потом она в потерях
Игра открывается локально, без сборки и сервера: один HTML-файл.
Полезно, чтобы за две минуты объяснить две вещи: почему без соединения
поток не идёт вообще и почему тупик в трубе лечат ёмкостью, а не ретраями.