O sistema de arquivos padrão do Linux, ext4, espalha os arquivos o mais distante possível para ajudar na fragmentação (para que você não precise desfragmentar com tanta frequência). O efeito colateral é que suas cabeças de HDD viajarão muito. Você poderia tentar outro sistema de arquivos como exFAT se isso for aceitável.
Para mais informações, consulte Os sistemas de arquivos ext4 precisam ser desfragmentados?