Isso depende muito de como você define a rede para sua VM. Se você configurou para NAT, você terá que configurar o encaminhamento de porta no VirtualBox.
Se você definiu como Bridged, precisará configurar o roteamento entre o adaptador de rede VirtualBox e o adaptador de rede física. Mas isso não deve ser um problema específico do VirtualBox.