A única coisa realmente incomum sobre essa configuração que você postou é o uso de deferred
na sua diretiva listen
.
Parece que alguns sites fornecem isso em suas configurações de amostra e "recomendam", mas na verdade não explicam o que ele faz . (O que não é muito, a menos que seja definido em ambas as extremidades, e se não for, então as coisas ficam muito estranhas muito rápido, já que isso tecnicamente quebra sutilmente o protocolo TCP.)
A primeira coisa que eu faria seria remover essa opção deferred
da sua diretiva listen
.
Mesmo que isso não resolva o problema, eu não o colocaria de volta. Se você quiser investigar seus supostos benefícios de desempenho posteriormente, poderá fazê-lo em um ambiente de teste cuidadosamente controlado.