Você provavelmente não configurou sua rede no Virtualbox corretamente.
Por favor, consulte a seção 6.2: link
Por padrão, o Virtualbox coloca adaptadores no modo NAT. Isso funciona para conectar a máquina virtual à Internet, mas não muito mais. Isso ocorre porque o Virtualbox cria um NAT adicional em sua máquina e coloca as VMs por trás dele.
A meu ver, o modo desejável é "Rede em ponte", em que a VM atua como um dispositivo separado em sua rede, conectando diretamente ao seu adaptador de rede. Em seguida, estará na mesma sub-rede que qualquer outra máquina em sua rede.
Existem outros casos de uso para os outros modos de rede, mas eu acho que 99% do tempo, o modo de ponte é o que eu quero para a VM.