A resposta clássica é: Depende
Para fins de compatibilidade, o FAT32 é o vencedor apenas porque é o mais compatível com quase tudo ou com todos os demais SOs existentes.
O NTFS (obviamente) não é compatível com tudo.
O ExFat é supostamente apenas compatível com o Vista, mas eu conheço algumas pessoas que fizeram isso funcionar com o XP.
No que diz respeito à cópia de arquivos para a unidade USB, o FAT32 será um pouco mais rápido que o NTFS.
Ler ou copiar DAS unidades USB será aproximadamente a mesma velocidade. O NTFS leva um pouco mais de tempo.
Na minha opinião, a melhor escolha é o FAT32.
Agora, isto dito ... existem obviamente algumas vantagens em usar o NTFS, como a capacidade de suportar tamanhos maiores de arquivos, etc.
Se você sabe que só usará as unidades USB em sistemas que suportam NTFS e deseja a segurança adicional, permissões, tamanhos de arquivos grandes, etc., use o NTFS.
Como eu disse ... a resposta correta é: Depende
Espero que isso ajude! : -)