Primeiro comece lendo a documentação do wiki . É muito completo e inclui amostras. Eu não vou te dar uma configuração nginx inteira, mas aqui está a parte relevante para sua pergunta.
server {
listen 80;
server_name example.com;
location /foo {
proxy_pass http://localhost:9000;
}
location /bar {
proxy_pass http://localhost:9001;
}
location /baz {
proxy_pass http://localhost:9002;
}
}
Deve ficar claro o que está acontecendo lá. Cada local faz o proxy do URI especificado para o backend node.js apropriado.