A única vez que vi isso é quando há um aplicativo de 16 bits fingindo ser um 32-bit (algum software de help desk realmente antigo ou algumas ferramentas de telefonia PBX). O Windows 64 bits não possui suporte a 16 bits.
Pode até ser um aplicativo de 32 bits que está usando apenas um programa de instalação de 16 bits. Se for esse o caso, deve ser simples o suficiente para extrair o aplicativo do invólucro do InstallShield e configurá-lo manualmente.