Na janela de adicionar / remover programas, selecione a terceira opção na guia à esquerda e diga algo como "adicionar ou remover componentes do Windows".
De lá, você deve encontrar uma caixa de seleção "Internet Explorer". desmarcando-o remove o Internet Explorer.
editar
desde que você parece ter um problema de permissão, eu vou explicar como resolvê-lo:
takeown /f <directory name> /r /d y
icacls <directory name> /grant administrators:F /t
Os comandos a seguir concedem a você a propriedade e os direitos totais a um determinado diretório.
(supondo que você esteja no grupo de administradores)