Instalei o Microsoft VSTO do site da Microsoft , reiniciei o PC e agora o setup.exe é executado depois de confirmar que eu quero instalar o software.
Parece que a verificação de presença do VSTO no Invantive, que funcionava no Windows 7, não funciona no Windows 10.