Проект 04 · Бюджет кластера
sacct, лимиты памяти и потоков, экономия core-hours без потери результата
01Сводка
Что видно по 40 задачам без единого запуска заново.
40задач в профилепять шагов пайплайна
−32.7%core-hours1664 → 1120
379 ГБлишней памяти запрошеноразница лимита и пика
64%средняя загрузка CPUдоля от запрошенных потоков
02До и после
Экономия получается из двух правок: лимит памяти по p95 и число потоков по фактической загрузке.
03Запрошено против использовано
Точки вдоль нижнего края — задачи, которым память просили «на всякий случай».
04Полезное использование
Тепловая карта по шагам: где ресурсы простаивают сильнее всего.
05Худшие задачи
Кандидаты, с которых начинать оптимизацию.
| задача | шаг | запрошено | пик | память | CPU |
|---|---|---|---|---|---|
| 1001 | bwa-mem2 | 32.0 ГБ | 6.9 ГБ | 22% | 36% |
| 1016 | bwa-mem2 | 32.0 ГБ | 7.3 ГБ | 23% | 83% |
| 1035 | fastp | 32.0 ГБ | 7.4 ГБ | 23% | 71% |
| 1002 | markdup | 32.0 ГБ | 9.8 ГБ | 31% | 95% |
| 1017 | markdup | 32.0 ГБ | 10.8 ГБ | 34% | 81% |
| 1003 | haplotypecaller | 32.0 ГБ | 14.0 ГБ | 44% | 73% |
| 1011 | bwa-mem2 | 32.0 ГБ | 15.7 ГБ | 49% | 67% |
| 1005 | fastp | 32.0 ГБ | 17.4 ГБ | 54% | 39% |