Eu consertei isso gerando um novo certificado sem o parâmetro -batch. Isso significa que o certificado pediu "nome comum" ao gerá-lo.
Eu coloquei o logstash server dns como o nome comum, substituí os certificados antigos pelo novo, e funcionou. Aqui está o comando que usei para gerar o novo certificado:
openssl req -x509 -nodes -newkey rsa:2048 -keyout logstash-forwarder.key -out logstash-forwarder.crt