A cadeia OUTPUT
aplica-se apenas aos pacotes gerados localmente. Para pacotes que são roteados através do sistema, é necessário usar a corrente FORWARD
.
Então, você precisa usar este comando:
iptables -A FORWARD -m state --state NEW,ESTABLISHED,RELATED -d IP_address -j REJECT