Não tenho certeza da causa exata de seus problemas, mas as máquinas virtuais de rede podem ser complicadas. Seu computador está agindo como um roteador NAT para sua (s) VM (s), e por isso precisa gerenciar o encaminhamento de porta e a conversão de endereços, entre muitas outras coisas.
Uma maneira de eliminar esses problemas pode ser usar redes em ponte. Em vez de fornecer tradução de endereço, seu computador usa uma série de truques para compartilhar sua placa de rede entre as máquinas virtuais e reais. Cada um tem seu próprio IP na rede, através de uma conexão física.
O VirtualBox, o Parallels e a maioria dos produtos VMware (Fusion, Player, etc.) têm a opção de ativar a rede em ponte.