Por meio de você não dizer quais eram os repositórios, é claro que pode levar horas para clonar o repositório completo (segure seus cavalos antes de clonar o kernel do linux!), então o tempo que leva para clonar o repositório é perfeitamente normal e tem outros fatores, como a largura de banda, a carga do servidor SVN, IPv6, etc. Você não fornece mais informações que possam resolver o problema.
Por outro lado, a opção --no-auth-cache
apenas força o seu SVN a solicitar credenciais, caso você esteja acessando um repositório protegido. Se houver algum problema, é com os métodos de autenticação armazenados em suas configurações.