Isso provavelmente acontecerá por 1 ou 2 motivos.
O motivo mais provável é que haja uma regra na tabela permitindo especificamente o acesso à porta 80, que é correspondida antes dessa regra. Se este for o caso, você pode "inserir" a regra na parte superior da tabela, em vez de "anexá-la" com a seguinte linha
iptables -I OUTPUT -d -j DROP
Alternativamente (e menos provável) se você emitiu este comando em uma caixa linux atuando em um roteador, e o navegador está em um computador conectado através da caixa, você precisa usar a cadeia direta em vez da cadeia de saída
iptables -I FORWARD -d -j DROP