Embora o VisualSVN seja uma das maneiras mais fáceis de instalar o SVN no Windows, ele, como você diz, instala o Apache nele.
Quando ele instala o Apache, você pode fazê-lo em uma porta e local diferente da instalação do Apache existente, para poder executar os dois lado a lado. Dito isto, se você realmente não quer outra versão do Apache, então você precisará instalar e configurar o SVN manualmente para trabalhar com sua própria versão do Apache. Este artigo fornece um bom guia sobre como fazê-lo.