Isso parece algo estranho acontecendo no roteador sem fio. O fato de que duas sessões de SSH de diferentes máquinas parecem interferir é muito provavelmente relevante.
Entre as coisas que um roteador wifi faz, e que podem afetar uma conexão SSH, estão MTU / windowing (o que deve fazer com que você tenha uma conexão suspensa) e o TCP keepalive caindo (o que pode levar a uma falha pipe "erro".
Então eu tentei desativar a opção TCP keepalive do SSH:
ssh -C -o TCPKeepAlive=no yourserver
e veja se isso muda alguma coisa. Eu também tentaria, se possível, conectar o computador ao roteador usando um cabo ou temporariamente usando um roteador diferente.
Observe um problema semelhante aqui onde o Ipwaqas usa os termos,
This is very old problem for me; Every time I reinstall my system I have to add the line below to my /etc/ssh/ssh_config to avoid “Write failed: Broken pipe” issue.
ServerAliveInterval 120 OR ClientAliveInterval 15
Existem algumas opções engraçadas em roteadores WiFi que lidam com programas clientes, mas eles são normalmente jogos e afins; Eu não esperaria que houvesse algo envolvendo SSH. Mas só por precaução, verifique isso também.