Devo admitir que acho a primeira frase / histórico da sua pergunta um pouco estranha. No entanto, a questão sobre a conversão é válida, então aqui vai:
O arquivo terminando com .key é normalmente usado para chaves codificadas no formato ASCII (PEM) ou Binário (DER). Assim, a primeira coisa que você deseja verificar é se a chave já está no formato PEM. Caso contrário, o seguinte comando converte as chaves RSA de DER para PEM:
$ openssl rsa -inform DER -in encrypted.key -outform PEM -out now_in_PEM.key
Se você estiver usando chaves DSA, basta substituir rsa por dsa .