Sim, claro que haverá um impacto no desempenho. O quanto isso depende do programa, imagino, mas acho que para a maioria das aplicações do dia-a-dia você não notará muita lentidão. Eu não recomendaria rodar um programa intensivo de CPU como um videogame em um ambiente virtual.
Se você estiver usando o Windows de 32 bits, eu recomendaria o Sandboxie para esse tipo de coisa. Parece ser o mais confiável, e não me lembro de ter percebido um desempenho (embora eu tenha usado apenas uma vez).