Você pode desativar, mas não pode excluí-los da caixa de diálogo "Gerenciar suplementos" .
No IE 7, havia um botão delete, mas eu nunca o vi ativado, no IE 8, não vejo o botão.
Meu palpite seria que os addons do IE são registrados como componentes COM e você não pode rastrear quem usa esse componente além do próprio IE, então seria inseguro excluir.
Bem, você realmente pode.
Vá para o Gerenciador de Add-ons, selecione o addon e clique em "Mais informações". Um novo diálogo irá aparecer, aqui você pode clicar em 'Remover'. Não funciona em todos os addons, no entanto.
Fonte: Perguntas freqüentes sobre o Microsoft IE : 'Posso excluir complementos ou controles ActiveX?'
às vezes addons (ou plugins) são instalados como separa programas (por exemplo: plugin flash) você pode desinstalá-los a partir do Painel de Controle (adicionar / remover programas).