Em algum lugar durante o desenvolvimento do Linux 2.6.x, ele ganhou um novo recurso, cpuset . Permite o agrupamento de processos. Com o cpuset, é possível limitar não apenas o uso da CPU, mas também o uso da memória.
Aqui está um excelente wiki descrevendo o tópico com vários exemplos. Se você tiver alguma dúvida, não hesite em perguntar.
Lembre-se também que, muitas vezes, se algum processo do servidor conseguir derrubar seu servidor, não é devido o uso da CPU. Na maioria das vezes, alguns processos consomem toda a RAM disponível (e swap), causando uma tempestade de troca, o que faz com que seu servidor gaste todo o tempo trocando e não realizando nenhum trabalho real. Tenha isso em mente ao configurar seu cpuset. :)