SLURMp95core-hours

Проект 04 · Бюджет кластера

sacct, лимиты памяти и потоков, экономия core-hours без потери результата

01Сводка

Что видно по 40 задачам без единого запуска заново.

40задач в профилепять шагов пайплайна
−32.7%core-hours1664 → 1120
379 ГБлишней памяти запрошеноразница лимита и пика
64%средняя загрузка CPUдоля от запрошенных потоков

02До и после

Экономия получается из двух правок: лимит памяти по p95 и число потоков по фактической загрузке.

core-hours по шагам, до и последопосле0123246369491fastpbwa-mem2markduphaplotypecallerbcftools
один и тот же результат, меньше core-hours

03Запрошено против использовано

Точки вдоль нижнего края — задачи, которым память просили «на всякий случай».

запрошено против использовано, ГБв нормеперерасход > 50%запрошенопик
идеал — диагональ

04Полезное использование

Тепловая карта по шагам: где ресурсы простаивают сильнее всего.

доля полезного использованияfastpbwa-mem2markduphaplotypecallerbcftoolsпамятьCPU
1.0 — всё использовано

05Худшие задачи

Кандидаты, с которых начинать оптимизацию.

задачашагзапрошенопикпамятьCPU
1001bwa-mem232.0 ГБ6.9 ГБ22%36%
1016bwa-mem232.0 ГБ7.3 ГБ23%83%
1035fastp32.0 ГБ7.4 ГБ23%71%
1002markdup32.0 ГБ9.8 ГБ31%95%
1017markdup32.0 ГБ10.8 ГБ34%81%
1003haplotypecaller32.0 ГБ14.0 ГБ44%73%
1011bwa-mem232.0 ГБ15.7 ГБ49%67%
1005fastp32.0 ГБ17.4 ГБ54%39%