Suponha que você esteja no Nginx 1.9.x. De acordo com este tópico é um erro no OpenSSL, corrigido com este commit . O tópico diz "por isso deve ser corrigido o OpenSSL 1.1.0-pre3-dev". Então, você provavelmente precisará obter a versão mais recente do OpenSSL ou retirar uma versão de dois, porque, de acordo com este rastreador de bugs foi introduzido há pouco tempo.
TLDR: obtenha o OpenSSL mais recente.