Se você tiver muito espaço em disco em uso, o ext4 não pode desfragmentar muito bem, portanto, você sofrerá fragmentação no final da unidade. Além disso, quando você grava dados em uma unidade de disco rígido, as gravações começam na parte mais externa dos discos magnéticos, que são mais rápidas do que a parte mais interna no final da unidade.
Eu recomendaria usar o btrfs com compress = lzo como uma opção de montagem para reduzir o tamanho de seus dados compactáveis e acelerar as taxas de transferência. Eu não recomendaria mais usar o Ext4, considerando que ele é mais lento que o Btrfs e o XFS.