Como você já sugeriu, se o usuário não puder ver a pasta que contém o arquivo, ele não poderá acessar o arquivo.
Para acessar o arquivo, a pasta precisa ter os bits de leitura e execução definidos para o usuário ou grupo atual do qual ele faz parte ou para todos os outros.