Você pode usar try_files .
Por exemplo:
try_files $uri $uri/index.html =404;
O primeiro termo procura uma correspondência exata (um arquivo que corresponde ao URI). O segundo termo procura um diretório contendo index.html , em que o caminho do diretório é especificado pelo URI (sem um / ). Caso contrário, uma resposta 404 é retornada.
Veja este documento para saber mais.