Existe um produto gratuito que eu uso chamado ReliefJet Quicks com o qual estou muito feliz. Ele funciona com a minha cópia do Outlook 2016 x64 em execução em uma máquina Windows 10 x64. Existe uma opção que permite manter o Outlook aberto ao clicar no botão X. Você pode ver isso nesta captura de tela:
Costumava haver algumas soluções de plug-ins VBA e outras, mas não encontrei nenhuma que funcionasse na versão atual do Outlook.
Editar: em resposta à sua edição; sim, o ReliefJet ainda manterá o Outlook aberto mesmo se você tiver um novo e-mail aberto.
Edit 2: Tenho certeza que foi aqui no SE que eu descobri o ReliefJet pela primeira vez. Se você procurar por ele, você encontrará várias referências. Aparentemente, eu não sou o único cliente feliz.