O ExFAT (FAT64) não foi projetado para uso de SSD. Ele foi projetado para flash sticks e cartões de memória, para substituir o sistema de arquivos padrão FAT32. Devido às exigências de royalties da Microsoft, nunca pegou.
O NTFS é um sistema de arquivos b-tree altamente otimizado que está atualizado para o uso do SSD e deve ser usado em todos os casos, exceto em unidades removíveis pequenas com o ExFAT.
Para responder à sua pergunta, você provavelmente está usando o driver FUSE ExFAT, que é executado no espaço do usuário. Se você fosse compilar e usar o módulo de kernel ExFAT, provavelmente veria melhor desempenho, embora não melhor do que usando o módulo de kernel NTFS (YMMV)
Módulo do kernel ExFAT: link