Não sei se ainda é usado e testado muito, mas os shells costumavam ter um shell restrito opção que pode ajudar o que você precisa. Ele limita severamente o que um shell pode quebrar.
Eu consideraria uma instância vmware ou uma prisão chroot para isso, ambos podem ser muito trabalhosos.