Meus 2 centavos: configure e teste com wgets locais ou outro script http solicitando que descarte os arquivos baixados ou os despeje em um disco RAM (certifique-se de não disponibilizar a página do sistema operacional para o disco RAM).
Valores da experiência: em hardware moderno, o nginx saturará um link Gigabit FACILMENTE com arquivos multi-MB. Então poderia aio-era lighttpd, que é interrompido e inseguro até agora, infelizmente.
Você pode estar construindo um CDN ou estar bem aconselhado a procurar os serviços de um, se a velocidade do arquivo estático ainda for um problema hoje em dia (arquivos de tamanho kilobyte com padrões de acesso completamente aleatórios e não concentrados podem ser outro problema ... )
A filosofia arquitetônica que você está procurando no "servidor de arquivos estáticos mais rápido" é chamada de "cópia zero".