Parte do erro foi que eu estava usando a imagem do docker nginx, com um Dockerfile como:
FROM nginx
COPY nginx.prod.conf /etc/nginx/conf.d/default.conf
Eles dizem para usar sudo docker exec [name] nginx -s reload
para recarregar o nginx dentro da janela de encaixe, mas isso não importa o novo conf dentro da janela de encaixe, ele apenas recarrega a mesma ...
Minha solução: não use o docker. No meu caso, foi apenas uma nova camada de complexidade e propenso a erros. Claro que o YMMV, docker pode ser realmente útil se gerenciado adequadamente pela sua ferramenta de implementação.