Use o comando Export to OpenSSH do PuTTYgen, que produzirá o par de chaves no formato PEM utilizável pelo OpenSSH.
As chaves privada e pública estão no mesmo arquivo. Se você quiser extrair a chave pública, use ssh-keygen -yf mysshkey > mysshkey.pub
, mas isso não é necessário.