Se você fizer Arquivo / Sair, em vez de clicar no botão Fechar, ele faz uma saída "correta". Pode demorar alguns minutos para fechar completamente desta forma.
Mas ainda assim, este é o Outlook, por isso pode ficar preso mesmo assim. Nesse caso, você precisará sair do Gerenciador de Tarefas.