é porque /proc/sys/net/nf_conntrack_max depende do módulo nf_conntrack . mas este módulo não será carregado por padrão quando o sistema for iniciado.
mas se você correr
iptables -t nat -L
ou
iptables -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
este módulo será carregado automaticamente e definido para o número máximo que seu sistema suporta (o número máximo é 65536 se você for ram> 4G, mas ele varia em um sistema diferente.) você pode configurá-lo para um número maior (como 6553600) em /etc/sysctl.conf ).
Solução :
adicione uma linha no final do arquivo /etc/modules :
nf_conntrack
este módulo seria carregado no início do sistema antes de sysctl ser executado.