Encontrei a solução por mim mesmo:
precisa carregar o módulo do kernel ip_set_iphash.ko
.
# insmod /lib/modules/2.6.18-400.1.1.el5/extra/ip_set_iphash.ko
O iptables v1.3.5 possui a biblioteca libipt_set.so
ausente para corrigir o seguinte:
# wget http://ftp.neu.edu.cn/mirrors/CentALT/5/i386/iptables-1.3.5-5.6.1.el5.i386.rpm
# rpm2cpio iptables-1.3.5-5.6.1.el5.i386.rpm | cpio -idmv
# cp lib/iptables/libipt_set.so /lib/iptables/libipt_set.so