parece que você configurou mal o seu servidor: primeiro verifique seu /etc/hosts.allow e /etc/hosts.deny
root@host # grep sshd /etc/hosts.allow
sshd: ALL
ou se você tiver definido uma chave pública em seu servidor, verifique-as também - talvez esteja com defeito.
talvez você encontre mais informações em: link