Neste momento eu estou trabalhando no linux, mas eu tinha cercas instaladas no meu sistema em casa.
Ter muitos ícones não atrapalha seu sistema, porque o pior cenário é que cada ícone ocupe alguns kb da memória. Mas isso atrasa as operações como atualização, porque a cada atualização, o cache de ícones é recriado e todos os ícones são renderizados novamente. Outro aspecto é o da organização de ícones. Se você tiver feito automaticamente pelo Windows, é o mais rápido. Mas se você não o alinhar às grades e preferir escolher seu próprio canal, ele consome um pouco mais de memória, o que poderia diminuir um pouco as coisas.
Acho que outro motivo para a desaceleração seria o fato de que toda vez que você acessa a área de trabalho (como fechar uma janela ou minimizar tudo), o Windows precisa redesenhar todos os ícones.
Ah, e se você tiver algo além de 1GB de RAM, esse não é um problema completo! :)