Eu tenho procurado por uma solução para essa pergunta exata. Eu coloco todos os meus arquivos recentes e de tarefas diretamente no meu desktop e preciso de acesso rápido a eles em um formato de visualização de detalhes. Para acessar os arquivos, eu uso o Windows Explorer a partir da barra de tarefas, em seguida, clique em Desktop, que também acaba destacando e selecionando Bibliotecas por padrão e, em seguida, requer rolagem - realmente irritante.
Eu tropecei em um trabalho que pode funcionar para você. Fixar o ícone da área de trabalho para o Windows Explorer na barra de tarefas. Então, sempre que você precisar acessar a área de trabalho, clique com o botão direito do mouse no ícone do Windows Explorer e selecione Desktop. Nesse método, as Bibliotecas não são selecionadas e você pode selecionar seus arquivos por data com os arquivos mais recentes exibidos na parte superior. Funciona para mim, embora uma visualização de pasta de clique único mais direta da área de trabalho seja ideal.
BTW - este problema parece também existir quando você acessa a pasta Desktop por meio de Computer, um nome de perfil de usuário, Network e Homegroup. Então, basicamente, qualquer link selecionado antes de clicar em Desktop será selecionado e destacado na visualização Desktop. Talvez a busca por uma solução para essas questões similares (se não as mesmas) possa revelar uma solução diferente da que eu forneci.