Você precisa descobrir qual IP o convidado está usando.
Se estiver usando a rede Bridged, ele obterá um IP do roteador e estará na sua rede como qualquer outro dispositivo. [editar para adicionar: tenha em mente que, se você não tiver DHCP em sua rede, você mesmo terá que lidar com a atribuição de IP]
Se estiver usando NAT, o VirtualBox executa um dhcpd e atribui ao convidado um endereço interno. O host ainda deve poder ver esse IP interno (mas nenhuma outra caixa em sua rede pode).
Em um terminal no seu convidado, execute ifconfig
e tente ssh no IP mostrado para eth0
do seu host.