A fragmentação é quando um arquivo é dividido em várias partes do disco. Não é um problema com a unidade em si, mas nos dados que estão lá. Como o problema não está no disco, mas nos arquivos, a fragmentação desaparece quando os arquivos desaparecem (o que acontece quando você formata o ext4). A fragmentação também não é um problema no ext4 até que você fique sem espaço na unidade, já que o ext4 é capaz de encher a unidade de maneira mais inteligente do que apenas iniciar em uma extremidade, preenchendo-a a partir daí. É um problema conhecido do Windows que o sistema de arquivos está atrasado.