Estou executando uma instância do Ubuntu Server 14.04 dentro do VirtualBox e, por vários motivos, prefiro trabalhar com ele usando o emulador de terminal no sistema host (OS X 10.0) do que com o terminal 800x600 padrão do VGA da VM saída.
Atualmente, tenho a VM acessando a Internet por meio de um adaptador em ponte para que apareça na rede local. Então, eu me conecto a ele por SSH. Esta configuração é, obviamente, bastante problemática, principalmente porque tenho que estar realmente conectado a uma rede local estável para que isso funcione, e tenho que transmitir a VM para todos os demais na rede.
Tenho certeza que tem que haver uma maneira melhor, mas não tenho ideia do que é. Idealmente, eu teria a VM conectando-se à Internet apenas por NAT e não precisaria de uma conexão com a Internet para usar a configuração.
Você deve poder encaminhar uma porta no host local para a VM.
Eu não sei como fazer isso no VirtualBox, mas no Qemu é uma opção de comando:
qemu-kvm [all your usual qemu options] -net nic -net user -redir tcp:22122::22
Então ssh para ele:
ssh -p22122 klaatu@localhost
Eu imagino que o VirtualBox tenha uma função similar em seu painel de configurações da GUI.