Não misture a porta 443 com o ssl! Nginx é totalmente agnóstico de porta. Você pode oferecer https através da porta 80 também. Versões modernas do nginx permitem
listen 1234 ssl;
e você não precisa da linha ssl on;
.
Mas se você quiser veicular https, precisará especificar um certificado. Seu servidor digita https quando reescreve a solicitação http em uma solicitação https.
Você recebe o erro PROTOCOL, pois o handshake SSL é feito antes de qualquer outra coisa. Portanto, return 444
não é alcançado. E qualquer SSL Handshake precisará de um certificado e uma chave privada, para alimentar os algoritmos de criptografia com o par certificado / chave privada.