Analise os registros de acesso do nginx primeiro!
Se muitas solicitações de seus usuários reais precisarem ser configuradas ou atualizadas,
Se isso é bots ou parsers ruins, você precisa bloqueá-los e ajustar seus parâmetros de sistema.
Não altere nenhum sysctl params antes de não encontrar o problema.