Sua conexão provavelmente é cortada por um firewall devido à inatividade (falta de quadros TCP pertencentes à conexão SSH). Tente ativar o keep-alive.
No seu /etc/ssh/ssh_config
, adicione:
TCPKeepAlive yes
ServerAliveInterval 30
ServerAliveCountMax 10