Você pode se conectar a esse URL com um navegador da web? Caso contrário, seu servidor não está configurado corretamente ou está protegido por firewall. Se puder, então o problema provavelmente está no lado do cliente.
Se for do lado do cliente, talvez o TortoiseSvn esteja insatisfeito com um certificado SSL auto-assinado (que, presumo, está a usar). O programa cliente de linha de comando svn irá avisar se ele não gostar do certificado e deixar você aceitá-lo, mas eu não sei se o Tortoise irá. Uma vez que o cliente de linha de comando regular aceita um certificado, o TortoiseSvn irá usar a mesma opção de configuração e aceitá-lo.