Você mencionou nos comentários que a conexão de outros endereços funciona, então provavelmente você tem algo como denyhosts em execução. O Denyhosts detecta tentativas de SSH com falha e (se houver muitas) bloqueia as conexões desse endereço. Verifique o seu arquivo /etc/hosts.deny
para ver se o endereço IP da sua máquina está lá e remova-o em caso afirmativo. Você pode adicioná-lo ao /etc/hosts.allow
, se quiser, para que ele sempre possa se conectar, mesmo que o Denyhosts o bloqueie novamente
(Adaptado de vários comentários sobre a questão)