Isso só é possível se você puder agregar os IPs de origem desejados em um intervalo contíguo. eg
iptables -A INPUT -s 192.168.0.0/24 -d 192.168.0.5 -p tcp -j ACCEPT
Se você não encontrar uma máscara de rede comum que cubra os IPs desejados, será necessário escrever várias regras idênticas para fazer o que quiser.
Existem vários frameworks iptables que podem lidar com o baixo nível de escrita das regras do iptables, permitindo que você defina suas regras em um nível mais symolic. Shorewall é comum e vem com a maioria das distribuições de linux atuais.