Você pode usar o OpenSSL. Se você tiver que verificar o certificado com STARTTLS , basta fazer
openssl s_client -connect mail.example.com:25 -starttls smtp
ou para uma porta smtp segura padrão:
openssl s_client -connect mail.example.com:465