As opções padrão para o XFS podem ser ruins, mas acho que elas podem ser ajustadas para o seu benefício com base no que você está descrevendo. Depende de quanta leitura manual e teste você está interessado em fazer.
Além do sistema de arquivos, você deve considerar colocar esses dados em um sistema de arquivos separado (com qualquer formato) e usar recursos de montagem como 'noatime' e 'nodiratime' para melhorar o desempenho. Pelo uso que você descreve, isso pode ser uma grande vitória.
Acho que você obterá um benefício significativo ao usar um sistema de arquivos não-FAT32 no Ubuntu.