Você é mais do que provável que tenha problemas com as permissões. Eu geralmente deixo authorized_keys como 400 (embora 640 seja suficiente). ~/.ssh deve ser 700 . id_rsa guardo 400 também. Quanto menos permissões os arquivos tiverem, mais o ssh ficará bem com eles.
Se você usar a opção -v no ssh, ele informará esse problema. /var/log/secure também lhe dirá o que está acontecendo.
Como regra geral, ssh-copy-id cuidará de tudo isso para você. Se você executá-lo e, em seguida, as chaves começarem a funcionar, observe as permissões dos arquivos após o fato.