Na aplicação Definições, aceda a Sistema > Notificações e amp; ações , localize o Outlook e desative a alternância na mesma linha.
Pessoalmente, achei melhor deixar a alternância ativada, clique na linha inteira do Outlook e desative apenas a opção "Mostrar notificações no centro de ações" na página exibida. As notificações ainda estão ativas, mas elas desaparecem do Centro de Ação quando a faixa de notificação se esconde.