Você instalou algum add-on? Lookout, Xobni, SpamBayes, etc .... eles podem estar fazendo o trabalho de limpeza quando você sair, eo processo do Outlook permite que eles continuem fazendo suas coisas. Veja uma lista de suplementos que podem estar causando seu problema.
Há quanto tempo você atualizou o Outlook? O Microsoft Office Service Pack 2 introduziu um novo mecanismo para o Outlook sair, o que deve resolver o seu problema.
Este artigo explica a alteração e o download está disponível aqui