Você pode dar uma olhada em /etc/security/limits.conf
. Você será capaz de limitar recursos por usuário ou grupo (ou seja: número máximo de arquivos abertos, limite de memória e assim por diante ...).
O usuário poderá ver seus "limites" executando ulimit -a
. Se você especificar um limite flexível para ele, ele poderá alterá-lo usando o mesmo comando.
Você também pode alterar a prioridade nice
de seu processo.
Veja:
man ulimit
man limits.conf