Você está certo. O VirtualBox não é o único processo que precisa ser contido, mas é mais do que apenas um front-end.
Resposta curta: tente ligar o VBoxSVC.
Resposta longa:
Você provavelmente deve usar top (ou melhor htop) no seu computador para encontrar o componente que está fazendo o trabalho na sua situação, o Virtualbox abrange pelo menos dois processos em segundo plano VBoxSVC, que pelo menos no meu computador parece com o usuário principal da CPU e VBoxXPCOMIPCD que parece algum tipo de servidor de comunicação.
Observe que apenas um de cada processo é gerado para cada usuário, mesmo que várias VMs sejam iniciadas pelo mesmo usuário. Eu não sei se ligar apenas eles funcionará para suas próprias necessidades.
Para mais informações, o artigo tem muitas informações sobre como o VirtualBox funciona.