Não tenho certeza se sua chave privada funcionará no Ubuntu, mas vale a pena tentar. basta copiar as chaves para /home/yourName/.ssh/
nome da chave privada como id_rsa
e a chave pública como id_rsa.pub
.
Se isso não estiver funcionando, você pode criar seu próprio par de chaves ssh usando ssh-keygen
e copiar a nova chave pública para o servidor, e ssh da seguinte forma
ssh -i ~/.ssh/id_rsa_ubuntu.pub <hostName>
Eu não brinquei com isso, mas ouvi dizer que o ssh-agent também pode ser usado para gerenciar chaves ssh.