Verifique as permissões e a propriedade do seu arquivo de chave privada. Do manual ,
Esses arquivos contêm dados confidenciais e devem ser legíveis pelo usuário, mas não acessíveis por outros (leitura / gravação / execução). O ssh simplesmente ignorará um arquivo de chave privada se ele puder ser acessado por outras pessoas.
Normalmente, os arquivos de chave devem ficar assim,
$ ls -l ~/.ssh/id_rsa*
-rw------- 1 benj benj 1766 Jun 22 2011 .ssh/id_rsa
-rw-r--r-- 1 benj benj 388 Jun 22 2011 .ssh/id_rsa.pub
que você pode impor via:
$ chown benj:benj ~/.ssh/id_rsa*
$ chmod 600 ~/.ssh/id_rsa
$ chmod 644 ~/.ssh/id_rsa.pub