Quando você menciona "limites dinâmicos" usando cgroups, precisa ser um pouco mais específico sobre o que está procurando. É melhor fornecer um exemplo do que seu aplicativo e cgroup fazem junto com o cgconfig.conf. Isso nos daria uma melhor imagem.
Embora cgroups, permita limitar um processo a uma certa quantidade de memória usando memory.limit_in_bytes
no cgconfig.conf, ele apenas define o limite superior e não reclama se seu processo usa um limite inferior. Portanto, não tenho certeza se você exige cgroups neste caso.
sysctl -a | grep overcommit
e altere para sempre supercomprometir, independentemente de a memória estar disponível ou não.