No Windows Explorer, você pode pressionar Alt-P para abrir o painel de visualização que mostra as visualizações dos arquivos txt (e vários outros tipos de arquivo). Quanto aos arquivos de texto que têm um sufixo diferente, isso foi respondido em Windows 7 - Visualize outros tipos de arquivos como texto no Painel de Pré-visualização