Você tentou o Wireshark para ver se existe algum outro dispositivo na sua rede respondendo a solicitações ARP voltadas para os endereços IP das VMs convidadas ou fazendo outras coisas estranhas?
Eu costumava ter esse problema que meu roteador Netgear responderia a solicitações ARP para endereços IP de VMs depois que a rede estivesse inativa por um período de tempo. Isso causou problemas de conexão o tempo todo. Eventualmente eu implementei uma solução alternativa em minhas VMs para que elas executassem ping no roteador a cada poucos minutos para impedir que o roteador sequestrasse os endereços IP das VMs.
Seu problema pode ser causado por outros problemas, mas uma sessão do Wireshark pode lhe dar algumas dicas.