Como @AlexyTen apontou, a causa raiz foi que, embora eu tivesse o OpenSSL 1.0.2g instalado, o NGINX precisava ser construído com o OpenSSL e era construído com o 1.0.1f que não suporta ALPN.
O NGINX precisa ser reconstruído com o OpenSSL 1.0.2 ou superior e reinstalado. Eu encontrei alguns tutoriais on-line, mas como estou usando um servidor da Digital Ocean, usei este tópico de ajuda para resolver o problema: link
Primeiro, precisei instalar algumas novas bibliotecas:
apt-get install libgeoip-dev libgd2-xpm-dev libperl-dev
Eu, então, apenas executei este script: link
Eu reiniciei usando sudo shutdown -r now
e executei nginx -V
novamente. Desta vez me deu:
nginx version: nginx/1.11.0
built by gcc 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.4)
built with OpenSSL 1.0.2h 3 May 2016
TLS SNI support enabled
configure arguments: --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_stub_status_module --with-http_auth_request_module --with-http_xslt_module=dynamic --with-http_image_filter_module=dynamic --with-http_geoip_module=dynamic --with-http_perl_module=dynamic --with-threads --with-stream --with-stream_ssl_module --with-http_slice_module --with-mail --with-mail_ssl_module --with-file-aio --with-ipv6 --with-http_v2_module --with-openssl=/root/openssl-1.0.2h --add-module=/root/ngx_pagespeed-release-1.11.33.2-beta
Eu também executei novamente o teste http2 do keycdn e ele passou.