Não, você receberá uma permissão negada se o usuário não tiver permissão para ler o diretório. Exemplo:
~$ du -hs tmp/
8,0K tmp/
:~$ sudo chmod 000 tmp
:~$ ls -ltr
total 16
d--------- 2 rinzwind rinzwind 4096 dec 2 17:55 tmp
$ du -hs tmp/
du: cannot read directory 'tmp/': Permission denied
4,0K tmp/
Um usuário NÃO precisa de acesso de leitura ao arquivo em si.
$ cd tmp/
:~/tmp$ ls -ltr
total 4
-rw-rw-r-- 1 rinzwind rinzwind 54 dec 2 17:55 1
:~/tmp$ sudo chmod 000 1
:~/tmp$ cd ..
:~$ du -hs tmp/
8,0K tmp/