Um sistema operacional é como uma tabela.
Um navegador ou outro aplicativo é como um item na parte superior da tabela.
O Internet Explorer é uma aplicação, mas é PHYSICALLY parte da tabela devido à forma como a Microsoft empacotou com o SO.
Mesmo que você não use o IE, realmente precisa instalar atualizações. Se um hacker conseguir entrar em seu sistema, ele poderá tentar abusar de uma vulnerabilidade conhecida que você pode > ter corrigido, mas não e, em seguida, seu problema é agravado. Além disso, como o IE é um shell usado por alguns outros navegadores (e outros aplicativos), se você estiver usando um desses navegadores terciários (como o Maxathon), você ficaria com uma versão anterior do IE que renderiza as páginas (embora a interface é outra coisa).
Ao lidar com vulnerabilidades, você precisa fazer uma análise de custo / benefício; o custo do tempo de inatividade para instalar, e quaisquer problemas de compatibilidade que produz, supera o risco ou a perda incorridos por um ataque?