Verifique se ~ / .ssh tem propriedade 700, os arquivos nesse diretório tem 600.
Mas você também deve verificar a propriedade do diretório HOME e dos diretórios pai. Eles não devem ser graváveis pelo grupo ou por outro.
Este último requisito depende da configuração do sshd, mas esse é o padrão.