A permissão de leitura é necessária para obter uma listagem de diretórios. Se o usuário não estiver no grupo proprietário do diretório…
chmod o-r /path/to/directory
caso contrário,
chmod go-r /path/to/directory
Dito isto, o usuário ainda pode entrar no diretório e potencialmente abrir mais arquivos ou diretórios nele. Você deve remover a permissão executável no diretório para não permitir isso.
chmod o-x /path/to/directory
ou
chmod go-x /path/to/directory
Tenha cuidado ao remover as permissões do grupo proprietário, pois algumas delas são necessárias para que alguns daemons funcionem adequadamente. Você deve apenas remover o usuário do grupo.