Conforme o Outlook para Mac, você pode desativar todos os lembretes clicando em Desativar lembretes no menu do Outlook. Para mais detalhes, verifique o seguinte artigo da Microsoft:
Desativar lembretes e lembretes no Outlook para Mac
Em relação ao Outlook para Windows, você pode consultar as instruções mencionadas no link compartilhado pelo Appleoffity.