Sim, como você sugeriu, você poderia enviar uma sequência de bytes (neste contexto poderíamos chamá-la de texto de desafio) e criptografá-la com a chave privada SSL / TLS de seu servidor e enviar de volta o texto cifrado. pode verificá-lo descriptografando-o com a chave pública de seu certificado de servidor SSL / TLS.
Ou você pode gerar uma sequência de bytes, criptografá-la com a chave pública do certificado do servidor, enviá-la para ela, descriptografá-la com a chave privada do servidor e fazer com que ela envie de volta o texto original.
Note, porém, que relativamente poucas pessoas sabem como fazer coisas como essa com sua chave privada SSL, portanto não se surpreenda se você tiver que fornecer instruções passo-a-passo para encontrar sua chave privada e criptografar ou decifrando seu desafio.