Se você quer dizer sem ambiente de desktop do sistema operacional no qual o VirtualBox está instalado, ele não parece provável para mim (o VirtualBox é um programa e, portanto, precisa da maioria de um sistema operacional carregado para funcionar)
Além disso, por que isso seria necessário, você poderia não apenas instalar o sistema operacional em uma partição separada (e provavelmente funcionaria melhor do que dentro do VirtualBox?). Pelo menos até onde eu posso ver, a principal vantagem de rodar o virtualbox é poder usar simultaneamente dois sistemas operacionais. Se você tem um ambiente de desktop mínimo, certamente perderá muitas funcionalidades para esse SO.
No entanto, se você quer dizer que deseja que o sistema de área restrita seja mínimo (por exemplo, apenas interface de linha de comando), isso é muito mais viável