Dado que o framework instala novos assemblies no Global Assembly Cache e em outros locais dentro do seu diretório Windows , aconselho contra uma desinstalação manual. Por que você não pode desinstalar através dos canais apropriados em Programas e Recursos ?
Observe que o .net 4.5 sobrescreve qualquer instalação anterior do .net 4.0. Então, depois de removê-lo, você terá que reinstalar o .net 4.0