A causa do meu problema foi que excluímos o certificado do Keychain Access. Isso causou ou chaves privadas e públicas para desaparecer também, tornando impossível extrair o arquivo p12.
Corrigi o problema regenerando o certificado do zero.
Mais detalhes podem ser encontrados aqui: Não consigo exportar um p12 arquivo