Eu acredito que encontrei minha própria resposta em outro post. Se eu usar o physdev para corresponder à eth1 em vez de corresponder na bridge, parece funcionar e não para o meu tráfego regular.
iptables -t nat -A PREROUTING -m physdev --physdev-in eth1 -p tcp --dport 80 -j REDIRECT --to-port 22041