Você só precisa fornecer o nome de usuário do outro sistema no comando svn
:
$ svn co svn+ssh://otheruser@othersystem/path/to/repo
Para responder também ao título da sua pergunta:
$ ssh otheruser@othersystem
Isso faz com que sshd
na máquina remota procure em ~otheruser/.ssh/authorized_keys
pela chave pública correspondente à chave privada na máquina em que você está digitando o comando.