O SSH é muito paranoico com as teclas. Se qualquer diretório no caminho for gravável por qualquer pessoa que não seja o proprietário, ele não confiará na chave. Verifique as permissões em todos os diretórios no caminho. As permissões devem ser algo como drwxr-xr-x
ou drwxr-x---
. Permissões como drwxrwxr-x
ou drwxrwxrwx
farão com que a chave não seja confiável.