Sua regra está correta se você quiser bloquear o tráfego de saída da máquina de firewall (originada da própria máquina de firewall), o que não faz muito sentido bloquear a sub-rede originada de uma máquina!
Acho que você deseja bloquear o tráfego proveniente de alguma sub-rede e passar pelo firewall. Nesse caso, você precisa adicionar a regra à cadeia FORWARD
NÃO à cadeia OUTPUT
.
Aqui está a regra:
iptables -A FORWARD -s 192.168.3.0/24 -j DROP