Para poder usar o OpenSSH, você precisa copiar sua chave pública para o arquivo /home/<user name>/.ssh/authorized_keys do seu Ubuntu, habilitar a autenticação pubkey no seu servidor ssh e depois você pode usar o seu private key com putty para login.