Parece que você tem alguns grupos ímpares de parâmetros, onde você mistura os diferentes módulos e protocolos correspondentes. Ou seja --dport 80 não faz sentido antes de ver os parâmetros -p tcp.
Eu não tenho a possibilidade de testar aqui, mas acredito que isso deve ser feito:
iptables -A OUTPUT -p tcp --dport 80 -m string --algo bm --string 'password' -j DROP
Esta página fornece um ótimo tutorial sobre como fazer coisas semelhantes: