Remover o IE do Windows XP pode ter consequências imprevisíveis e, até onde eu sei, geralmente não é bom fazer isso. Dito isto, se você acha que deve remover este componente, pode fazê-lo através de vários métodos.
Você pode criar uma imagem pré-configurada do XP com qualquer componente que desejar usando o nLite:
O suporte pode ser encontrado aqui: link
Para a remoção pós-instalação, dê uma olhada no XPlite: