Então, para resumir, encontrei a resposta.
Eu não posso usar jwilder / nginx, pois isso é apenas para nomes de host - então eu tenho que usar o nginx no servidor para reescrever uma regra. Ainda estou usando o docker-compose com meu arquivo de hosts editados para ter acesso mais fácil localmente entre os contêineres, mas minha regra de reescrita é vinculada à porta que expus.