Eu não acho que é possível (se você não quiser editar os recursos shell32.dll).
Algumas pastas usam um arquivo desktop.ini para especificar o ícone; você pode mudar o ícone removendo a linha naquele arquivo
Vá para a pasta Minhas Imagens, clique na barra de endereço e adicione (no final do endereço) "\ desktop.ini"
[.ShellClassInfo]
LocalizedResourceName=@%SystemRoot%\system32\shell32.dll,-21779
InfoTip=@%SystemRoot%\system32\shell32.dll,-12688
IconResource=%SystemRoot%\system32\imageres.dll,-113
IconFile=%SystemRoot%\system32\shell32.dll
IconIndex=-236
[LocalizedFileNames]
Sample Pictures.lnk=@%SystemRoot%\system32\shell32.dll,-21805
Basta remover todos os parâmetros "Icon".
No entanto, não acho que seja possível fazer isso para qualquer pasta na sua unidade