Você não deveria estar se conectando ao SMTP remoto pelo script, mas sim ao host local usando o sendmail (ou melhor, o postfix). O Sendmail deve cuidar de entregar as mensagens. Se você precisa ter certeza de que todas as mensagens saem através de uma máquina de gateway específica, configure o sendmail com o smarthost correto.
O motivo pelo qual você quer fazer isso é que enviar e-mails é muito mais complexo do que você pensa inicialmente, e o sendmail (ou melhor, o postfix) é construído para lidar com todos os detalhes como gerenciamento de filas.
Quanto ao que está acontecendo no próprio servidor de email, você verificou a carga e outros fatores nesse servidor? Pode estar sobrecarregado depois que você enviou tantas mensagens para ele, e é legitimamente lento por causa disso. Verifique coisas como 'top', 'netstat -n', etc ...