O problema é provavelmente um firewall intermediário com um tempo limite.
Você pode tentar dizer ao ssh para manter a conexão ativa anexando ~ / .ssh / config:
Host *
ServerAliveInterval 90
Também pode haver falhas intermitentes da rede. A partir da página man do sshd_config sobre o TCPKeepAlive (ativado por padrão):
this means that connections will die if the route is down temporarily, and some people find it annoying.