executar top
com o modo em lote via -b
deve fornecer as informações que você está procurando.
Aqui está um começo muito confuso para o que você poderia fazer:
top -b -n 1 | head | grep -A 1 PID | grep "^[0-9]" | cut -f1 -d" " | xargs kill
Você pode matar um processo a partir de uma execução interativa de top
usando a tecla k também, pois você pode não gostar do que escolher ...
Não sabe ao certo o kernel que você está usando, mas cgroups também pode ser útil para você além de limits.conf