Você também pode querer considerar o KVM, provavelmente em combinação com o libvirt como uma ferramenta de gerenciamento. O Libvirt também pode gerenciar VMs XEN, portanto, se você quiser avaliar sistemas diferentes, isso pode ser um caminho a percorrer. O KVM requer suporte de hardware, no entanto, está incluído na maioria das CPUs modernas.
Para executar o VirtualBox no modo de console, você deve ler a seção "Headless mode" da documentação.
Todo hipervisor tem suas (des) vantagens, pessoalmente eu prefiro o KVM para virtualizar os hóspedes linux em hosts linux (também funciona muito bem com windows, também estou executando uma VM do Windows 2008R2).