O problema está no seu cliente de email. O cliente controla quais dados receber com o POP3. Como eu aposto que você tem uma configuração em que deixaria mensagens no servidor POP3 após o download (não excluir), uma vez que você alterou / atualizou seu cliente de e-mail, ele faz o download de tudo, pois perdeu o que foi baixado anteriormente.
Você pode evitar isso usando o IMAP como ao usar o POP3, os servidores não podem distinguir entre mensagens "lidas" e "não lidas". As mensagens são apenas lá e seu cliente geralmente mantém informações sobre quais e-mails já foram baixados (por isso não redownload tudo sempre se você tiver "deixar mensagens no servidor" opção habilitada).