O diretório irá requerer o bit de execução configurado para que você o insira. Eu não sei o que você testou, mas você não pode entrar em um diretório sem o bit de execução, ou ler arquivos nele:
$ mkdir foo
$ echo "baz" > foo/bar
$ chmod 660 foo
$ cd foo
bash: cd: foo: Permission denied
$ cat foo/bar
cat: foo/bar: Permission denied
Ou seja, a menos que seu processo tenha o conjunto de recursos CAP_DAC_OVERRIDE POSIX (como o root), que permite que você insira diretórios sem o conjunto de bits executáveis, iirc.
Basicamente, você deve tentar manter seu diretório .ssh em 700, e tudo nele em 600, apenas para estar seguro. A página man do ssh fornece instruções por arquivo sobre os proprietários necessários e modos de permissão para arquivos em ~ / .ssh.