Você deve aumentar o valor fail_timeout no bloco upstream, portanto, o servidor com falha será marcado como com falha.
(citação de nginx docs, o negrito é meu) do link
fail_timeout=time sets the time during which the specified number of unsuccessful attempts to communicate with the server should happen to consider the server unavailable; and the period of time the server will be considered unavailable. By default, the parameter is set to 10 seconds.