Encontrei a resposta sozinho - eu tinha um (1!) atalho em "Meus Documentos" que apontava para um local que não existia (ou seja, disco e caminho inexistentes). A eliminação desse atalho reduziu o tempo de atraso para < 1 segundo.
Agora, por que a Microsoft não percebe o fato de que este é um atalho morto e me fala sobre isso - isso seria um software útil!
P.S. Eu encontrei outro post (no Google Groups) que parecia indicar que até mesmo ter atalhos válidos nos Meus Documentos da Google reduziu a exibição das pastas. Não havia informações disponíveis sobre se esses eram atalhos apontando para um disco rígido local ou unidades de rede.