Pergunta interessante. Você teria que emitir um certificado para o IP, que de acordo com esta questão é possível, mas eu sei que vamos criptografar quem eu uso não faz isso.
Depois de ter feito isso, você precisará configurar um servidor padrão para SSL com aparência semelhante a essa (note que eu não o verifiquei para que seja necessário fazer ajustes)
server {
listen 80 default_server;
listen 443 default_server; # not sure if you can / need to specify default server twice
ssl_certificate /path;
ssl_certificate_key /path;
server_name _;
access_log off; log_not_found off;
return 444; # This means "go away", effectively, but you can choose whatever HTTP status code you want
}
Atualização - conforme o comentário perspicaz de Michael Hampton abaixo, basta usar um certificado auto-assinado.