Encontrei etapas que levaram à solução aqui .
Como a resposta está espalhada na pergunta e na resposta, vou colocar exatamente o que fiz abaixo.
Crie a chave e cert (-nodes cria sem senha, significa que não há destino)
openssl req -x509 -newkey rsa:4096 -keyout myKey.pem -out cert.pem -days 365 -nodes
Crie o arquivo pkcs12
openssl pkcs12 -export -out keyStore.p12 -inkey myKey.pem -in cert.pem