Estou surpreso que ninguém tenha falado sobre a tecnologia subjacente. Os flash drives mais novos e maiores usam a tecnologia flash célula multinível (MLC), enquanto os discos antigos usam célula de nível único (SLC). O desempenho de arquivos pequenos é muito, muito melhor com discos baseados em SLC.
Os flash drives MLC são muito mais densos, e os firmwares de drive lidam com a densidade usando blocos muito grandes para armazenar dados (não os típicos blocos do setor 512 que um disco de eixo convencional usaria). O tamanho do bloco pode variar de 32 KiB até 1 MiB. Essa arquitetura mata o desempenho de gravação de arquivos pequenos.
SLC flash drives, em suma, não tem esse problema. Infelizmente, os drives SLC são mais caros e também muito menos densos (normalmente menos de 4 GB).
Existem muitas otimizações de sistemas de arquivos para otimizar os grandes tamanhos de blocos do MLC, mas é muito trabalhoso, já que normalmente você não sabe o tamanho do bloco que o disco flash está usando (eles sempre informam 512 bytes sectores, por razões de compatibilidade). Eu não sei sobre o Windows, mas com o Linux há muito ajuste você pode otimizar as gravações com ext4 (stride e stride-width) e XFS (su e sw). Geralmente encontrar os melhores parâmetros é completamente empírico - você precisa experimentar até encontrar o que funciona melhor.
Não tenho certeza se você ainda pode encontrar flash drives baseados em SLC no mercado (MLC é muito mais barato), mas um Corsair Flash Voyager 4 GB que eu comprei em 2007 eu acredito que é SLC ao invés de MLC, e o desempenho de arquivos pequenos é excelente com ele (confira os benchmarks dele no momento).