ML Pipeline
Стадии обучения и скоринга с контентными хешами: изменённые данные пересчитываются, неизменные берутся из кэша. Артефакты лежат в локальном S3-хранилище.
Стадии extract → validate → train → evaluate
Кэш sha256 по входам и параметрам
Стек Python, joblib, pandas, FastAPI
Оркестратор стадий
Кнопка запускает пайплайн. Повторный запуск без изменений отдаёт стадии из кэша: хеш входов и параметров совпал — пересчёта нет.
Метрики последнего evaluate
Объекты локального S3
Каталог .local_s3 имитирует бакет: те же ключи, что были бы в продовом хранилище.
| Ключ | Размер |
|---|
Почему хеши, а не «перезапустить всё»
Каждая стадия описывается sha256 по содержимому входных файлов и параметрам. Изменился датасет — пересчитываются train и evaluate; поменяли только порог валидации — едут validate и дальше. В проде этот же принцип переносится на DVC и S3: манифест фиксирует, какая версия данных дала какую модель, и позволяет воспроизвести эксперимент месячной давности.