Verifique se o IP do qual você está se conectando está aparecendo em /etc/hosts.deny no servidor remoto e também verifique se você tem muitas tentativas de login com falha em /var/log/secure . Se fizer isso, exclua essas entradas de ambos os arquivos e você poderá voltar a entrar.