Por fim, removi os recursos do ASP.NET 3.5 e 4.5 já instalados e os coloquei de volta (eu tive que colocar a Ativação HTTP do WCF também para cada um). Isso fez com que o novo site funcionasse e parece ter mantido os outros sites e aplicativos ASP.NET existentes funcionando, embora eu não tenha certeza com mais testes.
Esta era obviamente uma solução muito estúpida porque corria o risco de quebrar os aplicativos ASP.NET existentes no servidor e certamente significava um tempo de inatividade nesses aplicativos durante esse processo sem um bom motivo. Mas funcionou.