Ele precisa carregar a listagem de pastas do compartilhamento remoto antes de poder exibi-la. Isso é muito mais rápido (quase perfeito) em compartilhamentos de área local, mas em compartilhamentos da Internet depende de muitas coisas, como sua latência, a carga de trabalho do servidor remoto, etc.
O número de arquivos no compartilhamento remoto tem alguma influência sobre quanto tempo isso leva, mas ainda há uma viagem do seu computador para o remoto, solicitando uma listagem, retornando e exibindo-a.
P.S. O controle giratório é um símbolo de 'carregamento' em todo o sistema. Você obtém isso quando o seu sistema inicializa também, quando o Safari carrega uma página, etc.
PPS Dependendo do tipo de compartilhamento remoto que você usa, dê uma olhada em Transmita 4 como você pode achar superior ao Finder.