A resposta é "não".
O Windows não contém a capacidade de abrir PDFs (necessário para criar pré-visualizações) nativamente (bem, eles adicionaram a abertura do PDF ao Edge, mas não acredito que ele criará miniaturas de visualização), e então confia em um terceiro -party viewer para oferecer esse suporte.
Em relação à pergunta adicionada no final: Essa é uma recomendação de compras e não fazemos isso aqui por vários motivos, mas o maior deles é que as alterações de software e o que é um bom programa um dia podem não ser o próximo; software também é uma questão de opinião.
Uma simples pesquisa no Google revelou vários programas de software oferecendo exatamente isso. O primeiro resultado foi o Adobe Reader, mas havia outros que eu não usei ou ouvi falar antes.
O problema é este: o Adobe Reader é o gorila de 800 libras. Nós odiamos isso, mas é como o lenço de papel do mundo PDF: basta usá-lo. Há muitos visualizadores de PDF alternativos por aí. Alguns deles são até mesmo respeitáveis. Se você quiser visualizações ruins, você precisa de um programa que lhe dará previews, e a menos que você esteja à altura de escrever um programa para atender às suas necessidades, você está à mercê do que mais está por aí, e fora existe o Adobe Reader, e um punhado de outros anões gritando.