Resumindo: é um problema do Yosemite que foi corrigido no OS X 10.11 (a ser lançado em outubro). Se você tem uma conta do Gmail, é ainda pior.
Detalhes da FYI:
Sequence of events:
start sending mail SMTP Server accept connection and relay Mail to recipient Recipient get mail delay, delay, delay copy mail to sent folder on server message send progress bar closed
Faz parte do processamento da Apple, não do seu servidor. Alguns dizem que este é o tempo consumido pela Apple para gerenciar o iCloud & atualizações de outros dispositivos, mas isso está errado, porque mesmo sem o iCloud e com apenas um dispositivo, você tem esse atraso.
A melhor maneira de ver mais profundamente o que o Mail faz durante esse atraso: é inspecionar o Console + executando algo como WireShark . Uma alternativa é usar outro aplicativo de webmail como o Thunderbird .
Nota : O próximo OS X ( El Capitain , v10.11) pretende torná-lo 2 vezes mais rápido. link