Você está redirecionando unidades locais para as sessões do TS? Se sim, tente desabilitar isso e veja se melhora o desempenho.
Se você estiver redirecionando unidades locais para a sessão do TS, o Windows Explorer deverá enumerá-las e isso poderá demorar um pouco, dependendo da qualidade da conexão de rede entre o cliente e o servidor.