Aqui está um problema:
Enter file in which to save the key (/home/karl/.ssh/id_rsa): openshiftKey
Você não aceitou o padrão e deu à sua chave um nome de arquivo específico.
Se você tivesse aceito o padrão, o ssh simplesmente procuraria esse local padrão sempre que você fizesse uma conexão remota em qualquer lugar e tentasse usar essa chave.
Para usar uma chave diferente da chave padrão, você precisa especificá-la explicitamente ao usar o ssh, por exemplo:
ssh -i $HOME/openshiftKey bad-example.rhcloud.com
Mas você provavelmente desejará colocar a chave em seu local padrão, para poder usar a ferramenta de linha de comando rhc
para gerenciar suas engrenagens. Tentando alimentar as opções ssh é ... bastante peludo.