ssh em localhost - senha para chave privada

Question

Meu objetivo é poder fazer ssh em localhost na minha máquina linux remota (Ubuntu 12.04 LTS x64).

Eu tenho uma chave privada que no meu local Windows que eu uso no putty para acessar essa máquina remota. Na máquina remota, ~/.ssh/authorized_keys contém a chave pública correspondente.

Em puttygen, eu carreguei esta chave privada e usei "Export OpenSSH key". Puttygen então me avisa: "Tem certeza de que deseja salvar esta chave sem uma frase secreta para protegê-la?". O conteúdo dessa chave é então armazenado em ~/.ssh/id_rsa na máquina remota.

No entanto, quando tento executar ssh localhost na máquina remota, me pedem uma senha. Apenas pressionando enter yields

me@host:~/.ssh$ ssh localhost
Enter passphrase for key '/home/me/.ssh/id_rsa':
Permission denied (publickey,hostbased).

As permissões de arquivo / pasta são assim:

me@host:~/.ssh$ ls -lsa
total 20
4 drwx------  2 me sudo 4096 Aug  6 09:43 .
4 drwxr-xr-x 11 me sudo 4096 Aug  6 09:38 ..
4 -rw-------  1 me sudo  381 Feb  1  2014 authorized_keys
4 -rw-------  1 me sudo 1589 Aug  6 09:38 id_rsa
4 -rw-r--r--  1 me sudo 1106 Aug  6 08:44 known_hosts

O que posso fazer para poder usar% dessh sem senha em localhost ?