Caso você tenha algum add-on funky, tente executar o outlook no safe mode pressionando Control ao iniciar.
Embora eu ache que o Outlook seja um programa brilhante, é geralmente lento em grandes caixas de correio, no entanto, estou surpreso que você esteja recebendo apenas 39 itens, então acho que poderia ser uma influência externa!
Se essas mensagens forem grandes ou tiverem muitos anexos, você também pode tentar ajustar qualquer programa antivírus que possa estar examinando-os. Da mesma forma, se forem e-mails enormes, qualquer tipo de interação com eles regras) pode demorar a tentar processá-las.