Sinto o cheiro de um conflito de endereço IP. Consulte A chave do host SSH continua mudando para obter uma explicação. Os sintomas coincidem: conexões TCP são quebradas depois de um tempo (quando o outro candidato pega o endereço IP) e manter um ping em execução ajuda (porque então o mesmo contendor tende a permanecer nos caches ARP).
Isso pode ser explicado por uma falha nos procedimentos de configuração da VM: a VM pode ter herdado o mesmo endereço IP de outra VM. Certifique-se de que cada VM tenha um endereço MAC exclusivo e um endereço IP exclusivo.
Esta é uma explicação plausível, mas eu não reivindico que seja a única explicação possível por qualquer meio.