Eu acho que poderia ser um caso de roteadores / firewalls / etc forçadamente desconectando suas sessões ociosas.
Tente usar um 'keepalive' quando se conectar
ssh -o TCPKeepAlive=yes
Nota: há definitivamente várias outras maneiras de configurar keepalives em uma conexão ssh, do lado do servidor ou do lado do cliente. Acima é um simples lado do cliente.
hth