Conexão ssh local lenta e instável

Question

Eu tenho dois laptops na minha rede doméstica, um conectado via WLAN, o outro via LAN ao mesmo roteador.

Eu freqüentemente conecto de um laptop ao outro, usando o SSH, que sempre funcionou perfeitamente bem até recentemente. A conexão é sempre estabelecida a partir do notebook A, conectado via LAN.

Agora, quando eu conecto de um para o outro, a conexão sofre de latência para um ponto em que o SSH declara que a conexão expirou, já que o segundo bloco não parece responder mais.

O servidor SSH é um Xubuntu 17.04 e o cliente é um Debian 8.

Eu não entendo porque essa conexão se tornou tão lenta, já que eu não mudei nada da configuração até onde eu sei.

Como eu poderia identificar o culpado por essas questões e, possivelmente, corrigir o problema?

edit: Eu uso -x como eu quero o encaminhamento do X11, se isso for importante