Eu descobri uma configuração que tornou tudo melhor. No Outlook nas configurações da conta - > Mais configurações - > Guia Conexão - > Configurações de proxy do Exchange.
Marque "Em redes rápidas, conecte-se usando HTTP primeiro e depois conecte usando TCP / IP"
Assim, o Outlook 2007 considerou nossa rede local como uma "rede rápida" e minha casa como lenta, por isso não vi esses atrasos fora