Parece-me que você reverteu a configuração da chave SSH. Você precisa criar o par de chaves no host local e colocar a chave pública no arquivo authorized_keys no host remoto.
Use ssh -v user@remote_host para ver o que acontece no lado do cliente. Verifique também o log do sshd (a localização irá variar dependendo de qual distribuição você está usando, no Debian / Ubuntu é /var/log/auth.log ). Pode ser necessário aumentar o nível de log de INFO para DEBUG no servidor e executar service ssh reload .