Eu não segui este guia, então não sei se está atualizado e preciso, mas aqui está:
Além disso, você não precisa usar chaves privadas / públicas (a menos que tenha uma política corporativa ou algo assim) para fazer a autenticação com o SVN. Você pode simplesmente usar o prompt de senha embutido do cliente svn e usar a opção para armazenar a senha em cache se você não quiser inseri-la toda vez.
Além disso, você pode querer investigar por que o Apache parece lento. Eu descobri ao longo dos anos que o SVN + Apache oferece a você mais flexibilidade e robustez. Eu não consigo imaginar passar do svn + apache para o svnserve.