Para obter acesso remoto a um servidor, ele precisa saber sobre sua chave. Portanto, você tem uma chave privada e o servidor tem a chave pública em seu ~/.ssh/authorized_keys
A razão pela qual seu amigo obtém acesso provavelmente é porque ele enviou sua chave pública para o servidor.
Mas seu amigo provavelmente não quer que você tenha sua chave privada - porque então você pode autenticar como ele em todos os servidores para os quais ele enviou sua chave pública.
Para obter acesso, você precisa enviar sua chave pública para a conta que está usando.
Se este é um servidor ssh simples - então você pode scp-lo e acrescentar a chave ao '~ / .ssh / authorized_keys'. Nesse caso, o conteúdo do arquivo agora conterá duas chaves.