Você pode recuperar o certificado no cliente com
openssl s_client -CApath /etc/ssl/certs -verify 10 \
-connect '<host>:<port>' 2>&1 < /dev/zero | \
sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' \
> foo.pem
foo.pem
pode então ser colocado no truststore do cliente.
Sugiro usar um certificado assinado por uma CA, mesmo se for sua própria CA (facilmente gerenciada com TinyCA ).
A principal vantagem é que você pode importar a raiz da CA certificado e não precisa se preocupar em confiar em host certificados.