Verifique as configurações dos servidores SSH. Parece que está desconectando você se houver inatividade após um determinado período de tempo. Normalmente são as configurações que você precisa jogar:
#TCPKeepAlive yes
#ClientAliveInterval 0
#ClientAliveCountMax 3
Eles estão no arquivo /etc/ssh/sshd_config
. Estes são comentados na minha configuração, você pode verificar se eles não foram comentados e tentar comentá-los ou alterar seus valores.