Não tenho certeza se sua chave privada funcionará no Ubuntu, mas vale a pena tentar. basta copiar as chaves para /home/yourName/.ssh/ nome da chave privada como id_rsa e a chave pública como id_rsa.pub .
Se isso não estiver funcionando, você pode criar seu próprio par de chaves ssh usando ssh-keygen e copiar a nova chave pública para o servidor, e ssh da seguinte forma
ssh -i ~/.ssh/id_rsa_ubuntu.pub <hostName>
Eu não brinquei com isso, mas ouvi dizer que o ssh-agent também pode ser usado para gerenciar chaves ssh.