Você pode querer verificar se está filtrando endereços IP.
vim /etc/ssh/ssh_config
Procure CheckHostIP . Certifique-se de que seja comentado com # .
vim /etc/ssh/sshd_config
Verifique ListenAddress na parte superior do arquivo. Certifique-se de que também seja comentado. Se você removeu o hash e alterou o padrão 0.0.0.0 para o endereço IP de sua outra interface de rede, essa provavelmente é a causa do seu problema.
Boa sorte.