Você está fazendo o que é comumente considerado o caminho "errado". Você não quer colocar na lista negra coisas proibidas, você quer colocar na lista de permissões as coisas permitidas. Dessa forma, seu padrão é seguro (REJECT / DROP) e você só coloca na lista de permissões quando necessário.
Para responder à sua pergunta, muitos argumentos no iptables podem ser negados!
Então, no seu caso, você usaria:
iptables -A FORWARD -s ! 1.2.3.4 -d 2.2.2.2 -i eth0 -p tcp -m tcp --dport 23 -j REJECT
Considere mudar a política padrão para rejeitar.