Eu encontrei a resposta há algum tempo.
O aplicativo estava travando por qualquer motivo (eu ainda não consegui descobrir exatamente onde), mas por que o IIS estava parando, era que estava acontecendo muito, em um curto período - o IIS se refere a isso como PROTEÇÃO DE RAFI-FAIL .
Aqui está uma captura de tela de algumas configurações típicas. Se eu entendi isso corretamente, está dizendo que, se houver 5 falhas em 5 minutos, pare esse pool de aplicativos e responda com a mensagem Serviço indisponível. (Nesta captura de tela, a Proteção rápida contra falhas está desativada).
Então é por isso que meu site estava "negando conexões". O pool de aplicativos foi avisado para STOP (colaborar e ouvir ...) e retorna um 503 for any new connections
até um humano ( cough me cough ) verificou o que estava acontecendo e reiniciou manualmente o pool de aplicativos.