O Windows tem um tempo limite ocioso para conexões de unidade de rede; por padrão, são 15 minutos. Assim, após 15 minutos sem usar o compartilhamento, ele será desconectado e, na próxima vez em que você for usá-lo, você terá que esperar que a conexão seja feita novamente (assim como quaisquer processos de autenticação que o acompanhem).
Isso realmente não deve levar "minutos" para acontecer (talvez alguns segundos), mas ainda assim pode ser o que você está enfrentando.
Você pode ver por quanto tempo o tempo limite inativo é definido abrindo um prompt de comando e digitando:
net config server
Você pode definir o limite de tempo limite (em minutos) como tal:
net config server /autodisconnect:<#ofminutes>
Você pode desativar o tempo limite inativo inserindo:
net config server /autodisconnect:-1
Consulte este artigo da MS KB para obter mais informações.