Eu tive um problema semelhante ao testar uma conexão SSL com o servidor SMTP do GMail.
Os comandos AUTH e MAIL FROM funcionaram bem, mas quando tentei o RCPT TO , o servidor retornou a resposta RENEGOTIATING .
Depois de pesquisar bastante, finalmente encontrei um site que explicava o que estava acontecendo.
Aparentemente, a letra maiúscula R no início do comando ( RCPT TO para SMTP e RETR para POP3) faz com que a ferramenta s_client renegocie com o servidor.
A página man do s_client tem algumas informações na seção "COMMAND CONNECTED COMMANDS".
Eu consegui fazer meu teste SMTP funcionar usando comandos minúsculos ( rcpt to ). Acabei de tentar um teste com o servidor POP3 do GMail e usar retr 1 funciona bem.