Um diretório não é, na verdade, um arquivo, mas uma maneira lógica de um sistema se organizar. A maneira como os diretórios seriam armazenados (dependendo do sistema de arquivos) em algum tipo de tabela. Por exemplo: FAT usa uma F ile A opção T capaz.
Portanto, o tamanho do diretório dependeria da quantidade de espaço ocupado nessa tabela, mais diretórios equivalem a tabelas maiores. Pode ser apenas um par de bytes.
Eu posso estar errado em alguns pontos, mas tenho certeza que é por isso que você não está vendo o tamanho no hex (como é principalmente um ponteiro).