Tente
net.netfilter.nf_conntrack_max = xxxx
e
net.nf_conntrack_max = xxxxx
em vez disso.
Ou talvez ip_conntrack
não esteja carregado. Experimente:
lsmod |grep conntrack
Se estiver vazio, carregue-o com:
modprobe ip_conntrack