Isso parece um problema com os firewalls.
Todos os firewalls (e certamente o iptables) têm regras que permitem que todos os pacotes passem se eles pertencerem a uma conexão ESTABLISHED, RELACIONADA , algo assim:
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
Ao conectar-se à sua máquina a partir de uma das VMs, o seu administrador de sistema iniciou exatamente uma conexão (do lado do firewall), de modo que todos os pacotes da sua máquina voltem às VMs marcadas como ESTABLISHED, RELATED. Depois de algum tempo, a conexão é interrompida e o firewall não reconhece pacotes de você para pertencer a uma conexão ESTABLISHED, RELACIONADA, e você está desconectado.
Não sei dizer se o firewall está nas VMs ou na máquina host,