Primeiro, certifique-se de que os binários da Caixa Virtual estão em seu caminho. Isso é feito por padrão no Linux, mas no Windows, talvez seja necessário adicionar manualmente a pasta bin do diretório de instalação ao seu caminho.
Em seguida, você precisa saber o seu nome do sistema operacional convidado ou o número do UUID. Você pode encontrar ambos digitando
VBoxManage list vms
em um terminal. De lá, simplesmente digite
VBoxHeadless -s <Guest-OS-Name>
ou
VBoxHeadless -s <UUID>
Isso inicia a VM sem anexar sua exibição a uma janela. Agora tudo o que você precisa fazer é definir esse comando como um serviço de tempo de inicialização executado em segundo plano e você será definido.