É devido a como o sistema de arquivos é implementado. Enquanto você PODERIA armazenar cada byte do seu documento de um milhão de bytes na unidade, um por um, isso é obviamente horrivelmente ineficiente (lembre-se de que você precisa registrar esses bytes).
Assim, a maioria dos sistemas de arquivos trabalha com o conceito de "blocos", digamos 4 kilobytes. Então, se você tiver um documento ocupando 10 kilobytes, ele ocupará 3 blocos. O último bloco estará apenas pela metade (você pode ver isso nas propriedades do arquivo no Windows. Compare "tamanho" versus "tamanho no disco").
Se você adicionar mais tarde a este documento, e o seguinte bloco (que seria o terceiro bloco) for ocupado por outra coisa, o sistema de arquivos deve encontrar este último bloco em outro lugar. Isso é fragmentação. O documento ocupa 4 blocos, mas apenas os 3 primeiros são consecutivos no disco. O quarto está localizado em outro lugar. E isso pode levar a um desempenho degradado.
Agora, esta é a explicação "clássica" para sua pergunta. Existem muitos sistemas de arquivos e eles resolvem esse problema de várias maneiras.