Sua regra de NAT deve funcionar:
iptables -t nat -A PREROUTING -d 192.168.1.100 -j DNAT --to-destination 172.17.0.2
No entanto, você precisa adicionar outra regra se estiver solicitando algum serviço da mesma máquina (localmente):
iptables -t nat -A OUTPUT -d 192.168.1.100 -j DNAT --to-destination 172.17.0.2
A regra NAT pode ser aplicada a portas específicas de protocolo específico ou a todos os protocolos e portas (como no caso aqui).