Você pode usar o endereço do host, por exemplo 127.0.0.1 se você estiver nessa máquina. Você precisará configurar o encaminhamento de porta no VirtualBox, que pode ser encontrado nas configurações de rede:
Configurearegrausandoqualquerportadohostdesejada(contantoquenãoentreemconflitocomoutroserviçonohost)equaisquervaloresdeIPeportadoguest,porexemplo:
(Se você deixar o campo IP do host em branco, poderá acessar o convidado de qualquer máquina em sua LAN.) Então você pode ssh para o seu IP local na porta do host especificada, e o tráfego será encaminhado para a porta que você especificou no convidado.
Para mais informações, consulte a documentação .