Tem sido minha experiência que redes virtualizadas e adaptadores WiFi normalmente terão problemas - e isso não é específico apenas para o VirtualBox.
Eu recomendo que você mude o adaptador de rede virtual no VirtualBox para estar no modo NAT em vez de em ponte. Você pode então encaminhar através do VirtualBox (semelhante ao que você fez no seu roteador) para acessar o servidor web. Não há uma GUI para encaminhamentos de porta, então você precisará fazer isso a partir da linha de comando:
VBoxManage setextradata "VM Name Here" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/http/Protocol" TCP
VBoxManage setextradata "VM Name Here" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/http/GuestPort" 80
VBoxManage setextradata "VM Name Here” "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/HostPort" 8080
Isso encaminhará a porta 8080 em seu host para a porta 80 em seu convidado, para que a configuração do roteador precise encaminhar a porta pública 80 para 8080 em seu laptop. Sinta-se à vontade para ajustar os números das portas para o que fizer sentido em sua rede.
Outra opção seria conectar um cabo Ethernet, já que a opção de rede em ponte funcionaria bem nesse caso.