Para acessar uma pasta como você deseja acessar, você precisa da permissão x
(execute) para o diretório.
Então, se você mudar as premissions com
chmod u+x .ssh
deve ser possível acessar sua pasta.
Você só pode mudar para uma pasta quando tiver a permissão de execução apropriada para ela.