Ok, eu descobri o que fazer. No servidor upstream eu movi as diretivas raiz e índice dentro do bloco de localização e removi as tentativas.
No proxy, para cuidar do problema do subdomínio, eu configurei um catch-all no topo sem um servername e retornei o 404. Eu adicionei um regex ao nome do domínio principal.