você precisa descrever seu padrão de URI na expressão regular e usá-lo em seu local para capturar as partes dele que você pode usar no destino reescrito ou proxy_pass. por exemplo:
location ~ ^/url_(.).*$ {
#this will capture your /url_a or /url_b URI's
#and will store the "a" or "b" into $1 variable
#which you can use to proxy the request to a specific server
proxy_pass http://$1.$upstreams$uri;
#the above will result in a.<upstreams>/url_a for your example.
#don't forget the resolver configuration for domain names.
}
espero que ajude