Sim, isso é fácil de fazer. Clique com o botão direito na pasta desejada (ou selecione-a e use o menu Arquivo) e escolha Propriedades.
De lá, clique no botão de ícone no canto superior esquerdo e você pode procurar uma imagem de sua escolha.
Se for útil, você também pode arrastar e soltar uma imagem para esse botão.
Esta seleção está vinculada à sua conta de usuário, portanto, se você mover a imagem escolhida ou acessar a pasta de outro computador, o ícone personalizado não ficará visível.