Você pode adicionar o seguinte ao seu bloco location /
para que ele funcione para todas as páginas. Primeiro, ele tentará servir o uri solicitado, se isso não funcionar, ele tentará veiculá-lo com uma extensão html (sem adicioná-lo ao URL)
location / {
try_files $uri $uri.html $uri/ /index.html;
}
ou se você quiser que apenas trabalhe com uma página, você pode adicionar o seguinte ao seu bloco de servidor
location ~ /mypage {
try_files $uri.html /index.html;
}