Parece que esta é apenas uma escolha de design realmente ruim da Microsoft.
O leitor de PDF, sendo um "aplicativo", não fecha quando você clica no X no canto superior direito. Isso não seria um problema, exceto que ele não detecta alterações no arquivo atualmente renderizado, então quando eu modifico o PDF via TeX, o leitor de PDF mantém a versão original mesmo depois de "fechar".
Você pode fechar o leitor arrastando a janela para a parte inferior da tela e aguardando alguns segundos.