Caso você esteja se referindo ao Outlook Express em vez do Outlook (confusamente, são dois produtos completamente separados), encontrei algumas informações sobre como fazer isso:
- Como remover o Internet Explorer e o Outlook Express do seu computador.
- Windows-XP - Desinstalar o Outlook Express