Eu suponho que você também tenha uma versão de webmail, se não tentar ver se o problema ocorre no Thunderbird também (ou qualquer outro cliente de email).
Dessa forma, podemos determinar com mais precisão onde o problema pode estar.
Baseado no fato de que o problema não ocorre quando ele está na sua rede cor-de-rosa me leva a acreditar que não é o que o ChrisF sugeriu, já que ele também deveria receber duplicatas quando estivesse no trabalho.
Ele também deve tentar enviar uma mensagem de teste quando estiver dentro e fora da rede usando o correio de teste do Outlook nas configurações da conta. Se até seus próprios e-mails são duplicados, então deve ser o que ChrisF sugere em sua atualização. O servidor não é notificado de que o Outlook recebeu a mensagem.
Este site descreve o problema mais provável. Embora eu não goste de sua sugestão de puxar para baixo o e-mail e removê-lo do servidor, uma vez que você iria estragar se você perder a cópia local ...