Ok, você tem algumas comparações estranhas acontecendo aqui.
Primeiro: seus usuários estão usando aceleradores de download? Se não, então seus testes com um são sem sentido.
Segundo: Onde estão seus usuários em relação ao servidor? Onde você está em relação ao servidor? Se os seus usuários estão significativamente mais distantes do que você está, isso pode estar causando velocidades baixas. Se eles estiverem em um ISP diferente de você, seus testes apenas provam que não é um problema com o servidor nem com o seu caminho para o servidor.
Terceiro: seus usuários experimentam os downloads lentos apenas às vezes? Por exemplo, se eles tentarem durante os horários de pico (geralmente entre as 6h e as 2h) e tiverem velocidades baixas, mas tiverem velocidades significativamente maiores se tentarem fora do pico, isso indicaria um problema de capacidade em algum ponto do caminho.
Quarto: você está em um VPS, quando seus usuários relatam as velocidades lentas que você testou imediatamente? É possível que alguém na mesma máquina física que você esteja fazendo algo muito intensivo em largura de banda / cpu.
O Nginx provavelmente não é a causa aqui. Você falou com seu provedor? Eles estariam realmente em melhor posição para responder suas perguntas, então estamos.