O NTFS e o exFAT são lentos no Linux; Uma razão é que esses sistemas de arquivos são suportados apenas pela camada de fusíveis, o que introduz uma sobrecarga considerável, por isso não pode deixar de ser mais lento do que um sistema de arquivos que faz parte do kernel.
Outra razão é o próprio sistema de arquivos. É difícil implementar sistemas de arquivos proprietários de forma correta e eficiente. Mesmo se você descobrir como algo funciona, às vezes há problemas de copyright / licença / patente, então, para alguns sistemas de arquivos, você só obtém implementações abaixo da média.
Fora dos sistemas de arquivos do Windows, o FAT32 deve ter o melhor desempenho no Linux. Eu não tenho nenhum benchmark, e você teria que viver com suas limitações bastante datadas.
Alternativas mais rápidas para o NTFS estão disponíveis, mas é um produto comercial.
A high-performance alternative, called Tuxera NTFS is available for embedded devices and Mac OS X