Para poder usar o OpenSSH, você precisa copiar sua chave pública para o arquivo /home/<user name>/.ssh/authorized_keys
do seu Ubuntu, habilitar a autenticação pubkey no seu servidor ssh e depois você pode usar o seu private key com putty para login.