A Steeldriver está certa. No diretório, você também precisa do x
access flag para poder listar os arquivos dentro dele.
Corrigir o diretório usando chmod 700 ~/.ssh
deve ajudá-lo a entrar nesse estado (correto):
$ ls -ld ~/.ssh
drwx------. 2 user user 4096 Aug 26 10:37 /home/user/.ssh
Além disso, você deve corrigir suas chaves usando chmod 600 ~/.ssh/id_rsa
e chmod 644 ~/.ssh/*.pub
para obter isso:
$ ls -l ~/.ssh/
-rw-------. 1 user user 1766 Mar 7 2014 id_rsa
-rw-r--r--. 1 user user 415 Mar 7 2014 id_rsa.pub