O handshake SSL pode falhar quando a conexão em geral falha ou é interrompida, bem como devido a erros de SSL. Também pode falhar se expirar devido à falta de entropia disponível.
Provavelmente, você está apenas martelando o servidor com muita força. Não há informações suficientes aqui para determinar o que está precisamente falhando.
A definição de sucesso neste teste é estranha e suspeita. No entanto, se a memória for exibida, o código de erro 5 indicará que o soquete está fechado. Talvez a conexão seja considerada um sucesso uma vez que a negociação de SSL seja iniciada, e não depois de ter sucesso?