Embora o nginx provavelmente tenha um módulo de terceiros para lidar com conexões TCP brutas, tenho certeza de que, por padrão, tudo tem que ser HTTPS ou HTTP terminado. Eu acho que na sua situação eu faria o encaminhamento de porta no nível da rede:
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 443 -j REDIRECT --to-port 8443