Isso provavelmente está acontecendo devido a atrasos do host de e-mail que estão sendo ignorados. Enviar um email tem um requisito de conexão e, em seguida, uma resposta. Se o MAIL FROM for emitido antes do servidor responder, o envio falhará. De fato, alguns servidores confiam em atrasar um pouco essa resposta HELO especificamente para interromper essa bomba e fechar o comportamento de conexão, como é feito frequentemente por spammers.
Existem maneiras de lidar com isso (não usar o Telnet como o melhor), mas usando algum tipo de script de chat. Se isso não estiver disponível para você, a adição manual de atrasos não corrigirá o problema, mas poderá limitar substancialmente o problema.
Como você parece estar usando algum tipo de ambiente Linux, usar o nc (netcat) sobre o Telnet é considerado a melhor prática. A última parte do este link mostra como usar o netcat e "esperar" para melhor enviar um email e lidar corretamente com os horários .