Defina um ProxyTimeout
para apenas alguns segundos - o que está acontecendo é que ele está sentado tentando conexões com o back-end por um longo tempo, sem tempo limite.
Definir algo como ProxyTimeout 3
fará com que a conexão falhe mais rapidamente e, em seguida, sua configuração retry=60
fará com que o servidor inativo não seja usado novamente no próximo minuto.