Nós fizemos algo semelhante em nossos servidores. O que fizemos foi primeiro configurar um proxy frontend, que usando a ACL do HAProxy permite usar um ou outro backend. No seu exemplo, poderia ser algo como o seguinte:
frontend application
bind 0.0.0.0:10000
acl use_localhost path_reg ^/users$
use_backend localhost if use_localhost
default_backend externe
backend localhost
server localhost 127.0.0.1:10100 weight 1 maxconn 5 check
backenb externe
server externe 127.0.0.1:10101 weight 1 maxconn 5 check
No exemplo use_localhost é o nome da ACL. Você pode usar várias ACLs diferentes. Espero que isso lhe dê algo para começar.