Eu acho que o problema é que o svnserve usa seu próprio banco de dados de usuários. Eu recomendaria usar o mod_svn com o apache, o que permitiria que você compartilhasse bancos de dados de usuários, já que a autenticação é feita da mesma maneira usando http-auth.
Como alternativa, o svnserve sobre SSH pode ser usado desde que você use algo como LDAP para suas contas de usuário no servidor e exija que você permita que seus usuários façam login no servidor subversion.
Minha preferência seria usar o módulo do Apache. Eu costumo usar isso e voltar com um banco de dados LDAP para autenticação.