É possível fazer o que você está propondo por meio de proxy_pass ( link ), mas seria mais fácil encaminhar essas solicitações através do DNS.
Para usar o domínio do apex para Heroku, você pode usar os registros ALIAS nos registros DNSimple ou ANAME nos registros DNS Made Easy e regulares A para os seus subdomínios.
No entanto, o meu próprio site tem o ápice do domínio definido como um registro para nginx, que redireciona diretamente para www, que é um CNAME para heroku. Mais sobre o que é suportado / sugerido está aqui: link