Data Engineer · портфолио

Шесть проектов на одном стеке: Airflow, Spark, Kafka, DWH, Data Quality

Не набор скриншотов, а работающий код: ночной батч в DDS и DM со SCD2, стриминг из Kafka с дедупликацией, декларативный DQ-движок с метриками, витрины ClickHouse с измеренным бенчмарком, реконсиляция при миграции DWH и игра про backpressure. Каждый проект можно открыть, прочитать и запустить.

Схема пайплайна: landing, Spark, DDS, DM, витрины и DQ-гейт
Python 3.10+ Apache Airflow 2.9 PySpark 3.5 Kafka 3.7 PostgreSQL ClickHouse Prometheus + Grafana pytest

Проекты

У каждого — своя фича, свой акцент и своя анимация схемы.

Батч-DWH: landing, bronze, staging, DDS, DM и карантин
01 · Batch DWH

Landing → bronze → DDS → DM

Ночной пайплайн: сырая выгрузка в озеро, типизация через try_cast, карантин плохих строк, upsert в 3NF и звезда Кимбалла с SCD2.

  • Идемпотентность на всех слоях: перезапуск за ту же дату даёт то же состояние
  • Карантин вместо падения джобы: контракт источника видно по метрике
  • SCD2 под защитой частичного уникального индекса
  • SMART окно в факте: правки приезжают, история не переписывается
Стриминг: Kafka, Spark Structured Streaming, озеро и DDS
02 · Streaming

Kafka → Spark Structured Streaming

Жизненный цикл заказа как поток событий: партиционирование по order_id, watermark, дедупликация в два слоя и компакция в DDS каждые 15 минут.

  • Exactly-once на практике: чекпоинты + PK в DWH
  • Валидация переходов там, где видна вся история заказа — в DWH
  • Деньги в Decimal, ни одного float в модели события
  • Один код для стрима и backfill через availableNow
Data quality: правила, SQL, подсветка нарушений, гейт и Grafana
03 · Data Quality

YAML-правила → SQL → гейт и метрики

Свой движок проверок: правило компилируется в один SELECT с двумя колонками-счётчиками, результат идёт в meta.dq_result, оттуда — в Prometheus.

  • 8 типов проверок, включая freshness и произвольный expression
  • Безопасность: валидация идентификаторов, запрет ; и комментариев
  • Гейт настраивается по строгости: error / warn / none
  • Экспортёр метрик и готовый Grafana-дашборд
ClickHouse: колоночное чтение, март и сравнение стоимости запросов
04 · ClickHouse

Витрины и измеренный бенчмарк

Колоночная модель поверх того же факта: ReplacingMergeTree, пред-агрегат на AggregatingMergeTree и скрипт, который мерит каждое решение вместо пересказа туториалов.

  • PREWHERE vs WHERE, uniqCombined vs uniqExact
  • FINAL vs argMax — цена гарантии актуальности
  • Партиции по месяцу, LowCardinality, ZSTD
  • Медиана нескольких прогонов, серверное время
Миграция: сверка бакетов, drill-down по ключам и колонкам
05 · Миграция

Реконсиляция старого и нового DWH

Как доказать, что миграция не потеряла данные, не вычитывая миллиарды строк: подпись по бакетам, diff по ключам, diff по колонкам — и exit-код как cutover-гейт.

  • Бакеты по hashtext/cityHash64: агрегат вместо полного чтения
  • Канонизация: 199.90 = 199.9, пустая строка = NULL, naive = UTC
  • Допуск 1e-6 для чисел, ignore для технических колонок
  • Чек-лист cutover: T-10 → T0 → T+1 → T+7
Труба пайплайна: сетка модулей и ветка в карантин
06 · Игра

«Труба пайплайна»

Сеточная головоломка: поворачивай модули кликом и доведи чистые записи до витрины, а грязные уведи через Clean в карантин. Пока труба дырявая, записи стоят в тупике и теряются.

  • Топология важнее скорости: без соединения поток не идёт вообще
  • Clean — это DQ: грязная уходит вбок, забыл повернуть — протечка в DWH
  • Backpressure: тупик держит запись 2.5 с, потом она в потерях
  • Уровни проверены солвером: tests/test_levels.py

Как проекты закрывают требования вакансии

Таблица специально скучная: напротив каждого требования — конкретный файл, который можно открыть.

ТребованиеГде подтверждено
Python 3–4 года, поддерживаемый и документированный код Все проекты: типизация, docstring-и с «почему», тесты без БД
Глубокий SQL, промышленные СУБД 01-batch-dwh/sql/*.sql: upsert, SCD2, оконные функции, частичные индексы
Production data pipelines dags/orders_batch_dag.py, dags/order_events_compaction_dag.py, идемпотентность и ретраи
Apache Airflow Два DAG, кастомный S3-сенсор с mode="reschedule", гейт как задача
Spark / PySpark, Kafka 01-batch-dwh/spark/jobs/*, 02-streaming-kafka/jobs/*, Structured Streaming с watermark
DWH: слои DDS, DM, моделирование 3NF в dds, звезда Кимбалла в dm, SCD2, суррогатные ключи
Надёжность: мониторинг, отладка, оптимизация DQ-гейт, Prometheus-экспортёр, Grafana-дашборд, бенчмарк ClickHouse
Миграции ETL/DWH (плюс) 05-migration-parity + чек-лист cutover
Data Quality и контроль целостности 03-dq-framework: правила, карантин, метрики, история прогонов
Hadoop/Hive, Parquet, S3 (плюс) 01-batch-dwh/spark/common/session.py: s3a, партиционирование, snappy

Хочешь сразу поиграть?

Игра открывается локально, без сборки и сервера: один HTML-файл. Полезно, чтобы за две минуты объяснить две вещи: почему без соединения поток не идёт вообще и почему тупик в трубе лечат ёмкостью, а не ретраями.

Анимация игрового поля