Sem investigar o seu problema específico, descobri que estas linhas de configuração resolveram problemas semelhantes para mim:
ClientAliveInterval 150
ClientAliveCountMax 10
Ele soluciona desconexões devido a links atrasados ou em flapping. Eu não estou dizendo que esses são valores perfeitos, mas eles funcionaram para mim até agora.