Existe uma configuração no Outlook para deixar cópias de mensagens no servidor. Isso é usado quando você usa o cliente da Web, além do cliente local, ou quando você tem mais de um cliente local fazendo o download das mensagens.
Dê-me um minuto e receberei as etapas para desativá-lo. Assim, as mensagens baixadas serão removidas do servidor.
Aqui está um tutorial rápido: link
As configurações estarão nas configurações da sua conta, na sua conta Pop3, na guia Avançado, perto da parte inferior da caixa de diálogo.