Como @andyDalton diz que você precisa de x (execute) permissões para procurar em um diretório.
Portanto, você pode definir a permissão para 700 , mas isso definirá x no arquivo normal.
Se você tiver gnu chmod , poderá usar o modo simbólico:
chmod -cR u+rwX my-folder
Isso só irá adicionar à permissão usuário e só adicionará x se ele for um diretório ou já existir no grupo ou outro.
Considere também se você precisa usar chmod . Pode já ser como você quer. chown não redefine.