Não consigo encontrar a documentação diretamente vinculada à conntrack, mas veja este snippet da documentação do Nginx:
In a reverse proxy situation, max_clients becomes
max_clients = worker_processes * worker_connections/4
Since a browser opens 2 connections by default to a server and nginx uses the fds (file descriptors) from the same pool to connect to the upstream backend
O comportamento do Nginx com um navegador padrão é receber as duas conexões a partir dele e abrir duas conexões para os backends (proxy reverso), gerando assim 4 conexões totais. Essa pode ser a razão pela qual a conntrack está sendo preenchida mais rapidamente. Claro, isso é apenas um palpite semi-informado baseado no comportamento do trabalhador nginx.