Todos os sistemas de arquivos têm sobrecarga; que vem da necessidade de acompanhar:
- onde os dados são armazenados,
- atributos (somente leitura, direitos de acesso, ...)
- nomes de arquivos,
- pastas
- e seus relacionamentos
- e como encontrá-los rapidamente (hashes)
- ... (mais, por exemplo, registro no diário, dependendo do sistema de arquivos)
... no topo dos dados que você armazena na partição / disco / volume / ...
A postagem link fornecida por zagrimsan (comenta o Q) tem muitos detalhes sobre o que foi dito acima.
Considere também os arquivos excluídos que ainda estão abertos, consulte aqui