O que você precisa é de um certificado de cadeia. Você pode criar um assim:
cat /etc/ssl/server.pem /etc/ssl/cacert.pem > /etc/ssl/chain.pem
e, em seguida, use a cadeia como o certificado do servidor
ssl_cert = </etc/ssl/chain.pem
ssl_key = </etc/ssl/server.key
Agora, quando você se conectar com openssl s_client
, não deverá receber erros (desde que tudo o resto esteja configurado corretamente)