Clique com o botão direito do mouse na barra de tarefas e selecione Barras de ferramentas > Nova barra de ferramentas. Em seguida, selecione a pasta desejada. Quando você tiver a pasta selecionada, ela pode tentar mostrar todo o conteúdo na barra de tarefas, mas ajustar o tamanho da barra de ferramentas mostrará apenas o nome da pasta e, ao clicar nela, o conteúdo será exibido como um menu.
Não que você tenha perguntado, mas essa é uma ótima maneira de armazenar atalhos. Salve-os em uma pasta específica e eles ficarão acessíveis facilmente sem uma barra de atalhos do navegador.