Você tem alguma unidade de rede mapeada? O Explorer tentará enumerar TODAS as unidades antes de apresentá-las (foi solucionado no Windows 7), portanto, se você estiver em uma rede, poderá levar alguns segundos.
Verifique também se você instalou algum programa que se manifesta como plug-in do Explorer. Existem vários desses aplicativos, mas 2 vêm à mente no contexto de abrandar o Explorer: TortoiseSVN (não é relevante se você não é um desenvolvedor e você não usa SVN) e uma extensão, cujo nome me escapa agora, que calcula tamanhos de pasta (basicamente adiciona uma coluna no Explorer mostrando o tamanho ao lado das pastas - mas leva um tempo para calcular o número).