Você provavelmente tem uma legião de conexões masquaraded / NAT-ted também. O Linux os manipula em uma tabela hash estática, que pode estourar. Depois disso, você terá exatamente esse problema místico.
Um comando
cat /proc/sys/net/netfilter/nf_conntrack_max
diz qual é o limite superior deste mapa hash. Múltiplo isso com 13 e configurá-lo com o comando
echo #muchbiggernumber# >/proc/sys/net/netfilter/nf_conntrack_max
Se foi a causa do seu problema, você pode tornar esta alteração permanente editando o /etc/sysctl.conf intuitivamente.