O sshd fica estranho quanto a permissões em $ HOME, $ HOME / .ssh (ambos diretórios) e em $ HOME / .ssh / authorized_keys.
Uma das minhas caixas de linux acabou com as permissões drwxrwxrwx no meu diretório $ HOME. Uma caixa Arch linux absolutamente não logaria usando chaves públicas até que eu removesse a permissão 'w' para group, outra no meu diretório $ HOME.
Tente fazer com que $ HOME e $ HOME / .ssh / tenham permissões mais restritivas para grupo e outros. Veja se isso não deixa o sshd fazer suas coisas.