Você deve dar uma olhada nos cgroups (Grupos de Controle). Existem algumas informações sobre cgroups ad-hoc que também dizem
Note that the memory limit applies to RAM use only -- once tasks hit this limit, they will begin to swap.
que parece ser exatamente o que você quer.
Se o seu aplicativo de desenvolvedor de back-end estiver causando problemas em seus aplicativos de fachada, provavelmente será uma boa ideia mover o material de back-end para seu próprio servidor.