Talvez você deva tentar configurar seu imap para que ele baixe apenas o cabeçalho de seus e-mails e não o e-mail inteiro. Então você deve poder excluí-los sem baixá-los.
Este link pode ajudar, mas eu não sei exatamente qual é a versão do Outlook ( link )
Se o dosent corresponder, basta pesquisar no google para a sua versão.