Você precisa da chave privada correspondente ao certificado; sem isso, você não pode criar um arquivo .p12 ou usar o certificado para assinar seu aplicativo. A chave privada não está incluída em um arquivo .cer e é impraticável calculá-la de qualquer coisa no arquivo .cer.
A chave privada deveria ter sido criada quando você criou o certificado; exatamente onde foi armazenado depende do processo exato usado para criar o certificado. Se você usou o Xcode, ele deve estar no keychain no computador em que você criou o certificado. Se tiver sido excluído ou perdido, você precisará criar uma nova identidade de assinatura. De artigo da Apple sobre como manter identidades e certificados de assinatura :
Because the private key is stored locally on your Mac, protect it as you would an account password. Keep a secure backup of your public-private key pair. If the private key is lost, you’ll have to create an entirely new identity to sign code. Worse, if someone else has your private key, that person may be able to impersonate you. In the wrong hands, someone might attempt to distribute an app that contains malicious code. Not only could that cause the app to be rejected, it could also mean your developer credentials could be revoked by Apple. Private keys are stored only in the keychain and can’t be retrieved if lost.
Um arquivo .p12 é uma boa forma de backup, pois inclui a chave privada e o certificado (que inclui a chave pública). Mas se você perdeu a chave privada e não tem um backup, ele desapareceu e você precisa começar de novo.