Como permitir com segurança o acesso ssh ao meu servidor por outra pessoa (para acesso ao svn repo)

Question

Atualmente meu servidor está em uma rede interna e só é usado por mim, no entanto, desejo criar um novo repositório do subversion e permitir que pessoas externas o acessem. Eles devem ser restritos ao acesso svn e não podem fazer mais nada. Eles vão acessá-lo pelo protocolo svn + ssh.

Os passos que acredito que devo seguir estão abaixo, mas que outros passos devo dar?

1. Adicionar novos usuários
2. Crie uma chave pública / privada para cada usuário
3. Adicione usuários a um grupo 'ext_svn' ou similar
4. Criar repositório e definir permissões r / w para membros 'ext_svn'
5. Instale o SSH, redirecione a porta do meu roteador para o meu servidor, desative o login root e desative o login da senha

Presumivelmente, eles ainda poderão acessar o SSH e baixar arquivos da Internet, abrir portas, instalar backdoors, ler arquivos de configuração do servidor ... etc

Note que estou focando aqui em usuários autorizados , eu já li esta questão sobre como impedir o acesso não autorizado