Você pode iniciar um programa usando cpulimit com a sintaxe cpulimit -l limit -- program , então é necessário fazer isso:
cpulimit -l 5 -- java -a dsasda -p adss
cpulimit -l 5 -- java -a dsasad -p adds
...
(edite: se você também precisa do nohup você precisa rodar também, é claro: nohup cpulimit -l 5 -- java -a ... )