Usamos o servidor VisualSVN em LAN cabeada no trabalho (100mbits) sem problemas de desempenho. Em casa eu acesso via 54g wireless com performance decente também. Então, parece um problema de rede.
Tente configurar um compartilhamento e copiar arquivos para ver se você consegue um desempenho semelhante.