O problema é que a regra não está na cadeia INPUT . Se você notar na saída de iptables-save , está na cadeia DENYIN . Além disso, você está perdendo a parte ! -i lo da regra. Para deletar use
iptables -D DENYIN -s ip.add.re.ss ! -i lo -j DROP