Isso parece muito com um problema de configuração do DNS dentro da VM. Comece olhando os conteúdos do /etc/resolv.conf . Meu palpite é que adicionar / remover interfaces pode alterar a tabela de roteamento e, dessa forma, influenciar a resolução de nomes. O que acontece quando você muda a ordem dos servidores de nomes? Um resultado de host -v google.com.
poderia ajudá-lo a encontrar o servidor de nomes funcionando corretamente a partir da sua configuração atual.
Isso também pode ser outro problema relacionado ao tempo limite, mas pouco pode ser dito sem maiores detalhes, isto é. registros relevantes.