Se a diretiva proxy_next_upstream contiver http_404 , então um erro 404 retornado de um servidor upstream fará com que o nginx passe essa solicitação para o próximo servidor upstream.
Remover a entrada não padrão http_404 fará com que o nginx atenda apenas as respostas 404 do servidor ao qual o usuário estava conectado.
Observe que, nesse caso, o parâmetro max_fails é pouco significativo, porque (citando proxy nginx manual do módulo ):
The directive also defines what is considered an unsuccessful attempt of communication with a server. [..] The cases of http_403 and http_404 are never considered unsuccessful attempts.
Isso significa que você pode usar tentativa de contabilização via max_fails para lidar mais facilmente com um lado do mau funcionamento de seu AB-Test. Se a preocupação 404 foi o motivo para desativá-la, reconsidere isso agora.