Seu comando tem -D , que é usado para excluir uma regra, então estou assumindo que é um erro de digitação. Eu também estou supondo que você quis dizer que você está usando o comando append ( -A ) para adicionar a regra à cadeia ( INPUT ). Se esse for o caso, a nova regra aparecerá no final da cadeia, após o REJECT all , ele nunca será atingido. Tente executar:
iptables -I INPUT 1 -p tcp -j QUEUE -m string --string xyz --algo bm
Isso inserirá a regra antes de qualquer outra regra na corrente INPUT , fazendo com que ela seja atingida primeiro.
HTH