Você precisará usar uma cadeia adicional e RETURN antes das regras do NETMAP.
*nat
-N NETMAP_src101020
-A NETMAP_src101020 -d 10.0.0.0/8 -j RETURN
-A NETMAP_src101020 -d 128.128.196.0/24 -j RETURN
-A NETMAP_src101020 -j NETMAP --to 128.128.196.32/27
-A PREROUTING --source 10.10.20.32/27 -j NETMAP_src101020
-A PREROUTING --destination 128.128.196.32/27 -j NETMAP --to 10.10.20.32/27
Portanto, qualquer pacote de 10.10.20.32/27 é enviado para a cadeia NETMAP_src101020. Se o pacote for destinado a 10.0.0.0/8, então RETURN dessa cadeia; mesmo se o pacote for destinado a 128.128.196.0/24. Só então chega à regra atual do NETMAP.
Espero que isso faça sentido o suficiente; Eu acho que é mais fácil de explicar, mostrando-lhe do que uma explicação prolixa.