Depende de qual aplicativo você instalou.
A solução geral é fazer uma instalação limpa do Windows e, da próxima vez, fazer o aplicativo portátil dentro de uma máquina virtual como o VMWARE ou o Oracle VirtualBox.
* Como nota lateral: - Antes de fazer um aplicativo portátil eu sempre tento instalá-los em uma unidade compartilhada entre a máquina virtual e o meu computador, na maior parte do tempo (geralmente em jogos) posso rodar o aplicativo usando os arquivos instalados na unidade compartilhada, fora do virtual máquina.