Portanto, quando você faz login com um par de chaves para autenticação, o servidor usa a chave pública armazenada no arquivo authorized_keys no diretório inicial dos usuários. como a outra resposta diz, está no diretório inicial dos usuários do svn, já que é a conta que você está usando.
O par de chaves não está vinculado ao seu ID EXCEPTO através do uso desse arquivo. Ou, mais precisamente, esse par de chaves está vinculado à sua conta apenas por meio de sua presença no arquivo authorized_keys no diretório inicial dos usuários. Não há nada na chave em si que a vincule a uma conta específica.
Você poderia copiar o arquivo para o diretório home de Bob e Bob poderia logar usando esse par de chaves. (Assumindo que as permissões foram definidas corretamente).
Está fazendo sentido ainda?