Eu postei essa pergunta no serverfault depois de 24 horas e vou incluir a resolução para minha edição específica aqui para a posteridade.
Na minha configuração, a diretiva proxy_pass do bloco de localização nginx relevante declarou:
proxy_pass http://localhost:4040;
No entanto, o serviço upstream estava realmente vinculado ao endereço ipv4 e também é mais lento para iniciar na inicialização do que no nginx.
Quando o nginx verifica o status do servidor upstream, sua conexão foi recusada. Posteriormente, quando o nginx tentou verificar novamente o status do servidor upstream, ele continuou a verificar apenas o endereço IPV6 [:: 1].
Para resolver o problema, eu especifiquei o endereço ipv4 (127.0.0.1) em vez de localhost, forçando o nginx a usar somente o ipv4. Tudo funciona como esperado, agora.