Verifique se o IP do qual você está se conectando está aparecendo em /etc/hosts.deny
no servidor remoto e também verifique se você tem muitas tentativas de login com falha em /var/log/secure
. Se fizer isso, exclua essas entradas de ambos os arquivos e você poderá voltar a entrar.