Recentemente, adicionamos o nginx na frente do verniz para descarregamento de SSL. Estávamos prestes a reescrever todos os nossos pedidos de http para https. Mas então descobrimos que houve um aumento significativo no tempo de resposta, mesmo para as chamadas http, quando ele é servido pelo nginx. Considerando que o mesmo pedido servido por verniz sem nginx o tempo de resposta foi muito mais rápido.
Eu alterei os buffers de proxy (2048 4k) para que a resposta não seja armazenada em um arquivo e também desativada no buffer de proxy. Mas ambas as abordagens não ajudaram. Então eu clonei o servidor nginx (máquina virtual) e emiti o mesmo pedido contra o clonado. O tempo de resposta foi a par com verniz.
Parece que, quando há carga no nginx (cerca de 700 solicitações / seg), o tempo de resposta parece aumentar.
Alguém pode me dizer se estou perdendo algo que é óbvio?
Aqui está minha configuração nginx
#nginx.conf
worker_processes auto;
worker_rlimit_nofile 90000;
pid /var/run/nginx.pid;
error_log /var/log/nginx/error.log error;
events {
worker_connections 40000;
multi_accept on;
use epoll;
}
http {
##
# Basic Settings
##
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 65;
types_hash_max_size 2048;
client_max_body_size 20M;
client_body_buffer_size 128k;
server_tokens off;
keepalive_requests 1000;
reset_timedout_connection on;
include /etc/nginx/mime.types;
default_type application/octet-stream;
##
# SSL common settings
##
include /etc/nginx/include.d/ssl-common;
##
# Logging Settings
##
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format detailed '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $request_length $request_time '
'$upstream_response_length $upstream_response_time '
'$upstream_status';
log_format upstreamlog '[$time_local] $remote_addr - $remote_user - $server_name to: $upstream_addr: $status / upstream $upstream_status $request upstream_response_time $upstream_response_time msec $msec request_time $request_time body: $request_body';
log_format timed_combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'$upstream_connect_time $upstream_header_time '
'$request_time $upstream_response_time $pipe';
access_log off;
##
# Gzip Settings
##
gzip on;
gzip_disable "msie6";
#Proxy config
proxy_buffering on;
proxy_buffers 56 4k;
proxy_busy_buffers_size 8k;
proxy_set_header Host $host;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
##
# Virtual Host Configs
##
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}
#For a specific request I've increased the proxy buffer size
proxy_buffers 2048 4k;
proxy_buffer_size 4k;
proxy_busy_buffers_size 8k;
#Upstream setting
keepalive 2000;
Eu até otimizei as configurações do tcp em sysctl.config e isso também não ajuda. Aqui está o meu sysctl.config
#sysctl.config
fs.file-max = 100000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 400000
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_max_syn_backlog = 65536
net.core.somaxconn = 16384
net.core.netdev_max_backlog = 16384
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
vm.min_free_kbytes = 65536
Aqui está o gráfico para o disco IO.
Nota: Estatísticas de conexão Tcp Adicionei-as apenas recentemente, então não há muita informação.
Nginx_status - gráfico mostrando solicitações e conexões
