Eu não tentei, mas acho que um redirecionamento deve funcionar.
Tente adicionar este após o bloco do servidor em que você configura a conexão SSL no IP:
server {
listen 443;
server_name *;
return 301 http://$http_host$request_uri;
}