A maneira mais rápida que encontrei é clicar com o botão direito do mouse em uma área vazia no painel de pastas. Se você não clicar com o botão direito do mouse, terá duas opções: Mostrar todas as pastas e Expandir para atual.
Se você clicar em Mostrar todos e, em seguida, alterná-lo de volta, isso geralmente limpa a maioria deles. Não vai recolher o meu computador ou conexões de rede todo o caminho no entanto.