O SSL / TLS pode suportar sessões que não exigem certificados X.509, como o anônimo Diffie Hellman, mas é muito improvável que você encontre implementações do mundo real que o utilizem - para começar, não há autenticação com este conjunto de criptografia.
Existe documentação aqui que descreve o processo necessário para configurar TLS no Nagios. A seção Terminologia tem:
To implement SSL you need to generate a certificate. When you generate a certificate, you create a request that needs to be signed by a Certificate Authority (CA). This CA can be:
A trusted company like VeriSign
An internal CA that is part of your IT infrastructure, like a Microsoft Windows CA
The Nagios Core server itself (self signed)
Portanto, dependendo do nível de segurança / conveniência de que você precisa, você pode usar um certificado auto-assinado simples.