A diretiva try_files processa cada termo em ordem, até encontrar um arquivo que exista.
Se o arquivo /var/www/example.com/index.html existir, o primeiro termo no caso (A) será sempre bem-sucedido e o URI será alterado internamente para /index.html . A diretiva index não está envolvida. Além disso, caso (A) irá sempre retornar o arquivo /index.html .
No caso (B), try_files está procurando diretórios apenas de arquivos e não . Se você quiser que try_files corresponda a um diretório e o processe com o valor da diretiva index , use um termo com um / à direita. Por exemplo:
try_files $uri $uri/ =404;
Veja este documento para detalhes.