Se você acabou de usar as configurações de rede padrão em sua VM, será NAT com DHCP. Isso significa que você obtém um IP da LAN do servidor DHCP do VirtualBox e não consegue acessar a máquina do lado de fora.
Confira o manual do VirtualBox sobre redes: link
Eu acho que o neworking em ponte deveria ser o melhor. Você deve configurar um endereço IP estático.
EDITAR: Sobre a remoção de edição de "rede somente host": é verdade que você não consegue ver a VM de fora. Mas você obtém interfaces virtuais (vboxnetX) em sua máquina host. Então, se você encaminhar, deve funcionar. A configuração é mais complicada, mas a VM é menos exposta.