Se você remover as estruturas anteriores, terá que editar os arquivos de configuração do aplicativo dos aplicativos que visam estruturas pré-4.0 para que funcionem.
<supportedruntime version="v4.0.x"></supportedruntime>
Há uma explicação aqui e aqui . Se você executar alguns programas .NET, tenho certeza de que há outras coisas em sua máquina que você pode desinstalar com prioridade mais baixa.