A partir das mensagens que você fornece, parece que o problema está no handshake do SSL, mas para uma análise mais detalhada seria necessário. O que eu vi até agora em problemas nesta área são:
- Problemas de cifra. Se o servidor FTP só puder fazer cifras consideradas inseguras pelo Windows 7, mas consideradas seguras pelo Windows 2012, o handshake falhará. Mas normalmente você verá uma falha simples e não um tempo limite.
- Problema de versão do TLS. Eu vi alguns servidores que só podem fazer o SSL 3.0 e apenas fechar a conexão se receberem um pedido TLS 1.0 ou superior. Isso geralmente não causa um tempo limite também.
- Balanceador de carga ruim. Versões mais antigas de balanceadores de carga F5 coaxavam em um Client Hello que era maior que 255 bytes. Eles acabaram de deixar cair o pacote que causou um timeout dentro do aperto de mão no cliente. Esse comportamento corresponderia ao seu problema.
Se você precisar de uma análise melhor, forneça um dump de pacote (wireshark) e descreva o caminho de rede entre o cliente e o servidor, ou seja, se houver alguma middlebox entre eles, o que pode causar problemas.