F1sha256CI gate

Проект 02 · Регрессионные тесты

Сравнение VCF с эталоном: TP/FP/FN, F1, порог и падение сборки при просадке

01Сводка

Что показывает прогон набора кейсов.

67%кейсов прошли3 кейса
0.95порог F1ниже — сборка падает
0.909худший F1кейс с просадкой
0continue в кодеправило стиля

02Кейсы

Сравнение по вариантам: TP, FP, FN и итоговый F1.

Красная строка — регрессия: результат разошёлся с эталоном сильнее порога.
кейсTPFPFNprecisionrecallF1sha256
case_a_ideal12001.001.001.000c0b5823b54e4
case_b_regression10021.000.830.909480c3af3cd5f
case_c_extra12100.921.000.96027b0bfde33f1

03Порог

F1 по кейсам на фоне порога: всё, что ниже, валит сборку.

F1 по кейсам и порогF1порог0.000.290.590.891.18case_a_idealcase_b_regressioncase_c_extra
красный столбик — регрессия

04История версий

Как менялась доля пройденных кейсов от версии к версии.

доля пройденных кейсов по версиямдоля пройденных0.00.30.60.91.2v1.0v1.1v1.2v1.3
data/history.tsv

05Вывод прогона

Тот же вывод печатает CI-джоба.

$ python src/regression.pyкейсов: 3прошли: 2статус: regression detected