Eu sei que esta pergunta é antiga, mas estou colocando uma resposta para ajudar qualquer um que se depara com isso ...
Eu experimentei o mesmo e verifiquei que isso parece ser um problema com o tamanho permitido de anexos e como o Outlook os trata. Mudei uma mensagem com > 20MB de anexo para uma pasta temporária fora do 'Inbox' no webmail do Yahoo e, em seguida, o Outlook conseguiu concluir o processo de envio e recebimento. Curiosamente, a mensagem com > 20MB anexo foi baixada com êxito antes disso. Além disso, o anexo também foi baixado com sucesso do Yahoo Webmail.