Outra alternativa é criar um ponto de restauração do sistema imediatamente antes de instalar o aplicativo.
Obviamente, isso irá reverter quaisquer outras mudanças que você fizer no sistema após você instalar seu aplicativo, mas qualquer outro sistema terá este mesmo problema - o que fazer com arquivos que foram alterados por este aplicação e, em seguida, quaisquer outros que você instalar mais tarde.
Se você quiser isolar completamente as alterações que um aplicativo faz na instalação, será necessário usar uma máquina virtual ou sandbox (como Tom sugere em sua resposta).