Eu só tenho acesso ao Outlook 2007, mas acredito que as opções são as mesmas:
Ferramentas > Opções > Opções de e-mail > Opções Avançadas de E-mail ...
Nesta caixa de diálogo, há uma seção intitulada "Quando novos itens chegam na minha caixa de entrada".
Limpe todos eles.
Eu não tenho ideia de por que essas opções estão enterradas tão profundamente na interface do usuário - é um projeto ruim.