Ok, então o gargalo acabou sendo o controle de regras / nat / connection do iptables.
-A INPUT -p tcp -m tcp --tcp-flags SYN -m u32 --u32 0x6&0xff=0x6&&0x4&0x1fff=0x0&&0x0>>0x16&0x3c@0xc&0xffff=0x0 -j DROP
Com isso, como primeira regra, a carga na máquina caiu significativamente.