Eu não verifiquei recentemente, mas se qualquer diretório no caminho para o .ssh for mundial, o SSH recusaria usar chaves autorizadas dele. Essas permissões podem permitir que outros usuários façam você com o diretório .ssh.
Se o diretório pessoal for gravável por qualquer outra pessoa, ele não será usado, a menos que o StrictModes esteja desativado.