Sim, você pode, mas apenas removendo os arquivos do programa. Não é a melhor opção porque o programa desinstalador não pode fazer a limpeza adequada no sistema operacional em execução porque você não executa o mesmo sistema em que o aplicativo foi instalado.