Modifique sua configuração assim:
# rewrite html extensions
rewrite ^(/.+)\.html$ $scheme://$host$1 permanent;
location / {
index index.html index.php;
# this way nginx first tries to serve the file as an .html although it doesn't have the extension
try_files $uri.html $uri $uri/ @handler;
}
Claro que você pode adicionar qualquer configuração de cache, etc., mas isso deve ser suficiente para remover a parte .html.