No Linux / Unix, um diretório é um tipo de arquivo que só pode ser modificado por chamadas especiais do sistema. Como qualquer outro arquivo, o acesso a ele é controlado por permissões de arquivo.
Olhando para ele em termos de implementação, sua pergunta se resume a "como eu leio um arquivo de diretório que não consigo ler?" Não estou tirando sarro da sua pergunta - estou apenas tentando explicar por que a resposta é um "não" definitivo.