Se você não tiver uma regra para permitir o tráfego ESTABELECIDO, RELACIONADO, o tráfego pode não passar.
iptables -I INPUT 1 -m conntrack -j ACCEPT --ctstate RELATED,ESTABLISHED
iptables -A OUTPUT -m tcp -p tcp -m multiport --dports 587,465 -d <ipaddress of smtp> -j ACCEPT
iptables -A OUTPUT -s 192.168.1.100 -j DROP
iptables -A FORWARD -s 192.168.1.0/24 -d 192.168.1.0/24 -m tcp -p tcp -m multiport --dports 587,465 -j ACCEPT
iptables -A FORWARD -s 192.168.1.100 !-d 192.168.1.0/24,<ipaddress of smtp> -j DROP
permitir, permitir e depois negar todo o tráfego restante.
No entanto, sem saber que outras regras você tem, não posso dizer onde colocá-las.
A ordem em que as regras estão é
As regras são processadas em ordem e, se você adicionar minhas regras ao final de um conjunto existente de regras, elas podem não funcionar corretamente.