Você obterá esse comportamento se o modo de arquivo do diretório home do usuário no host de destino não estiver definido corretamente. Não é apenas o modo do diretório .ssh que deve ser configurado corretamente!
ssh para o host e dê sua senha para login, então
chmod 755 ~
logout
Em seguida, ssh novamente e assumindo que você tem tudo configurado corretamente (veja as outras respostas), você deve ser capaz de fazer o login.
Isto é o que parece quando o diretório home está aberto (777). Note que não tenta a chave rsa:
ssh -v user@host
...
debug1: Next authentication method: publickey
debug1: Offering RSA public key: /home/iwoolf/.ssh/id_rsa
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic,password
debug1: Trying private key: /home/iwoolf/.ssh/id_dsa
debug1: Trying private key: /home/iwoolf/.ssh/id_ecdsa
debug1: Trying private key: /home/iwoolf/.ssh/id_ed25519
debug1: Next authentication method: password
...
Em seguida, com as permissões do diretório base definidas corretamente (755):
ssh -v user@host
...
debug1: Next authentication method: publickey
debug1: Offering RSA public key: /home/iwoolf/.ssh/id_rsa
debug1: Server accepts key: pkalg ssh-rsa blen 279
debug1: Authentication succeeded (publickey).