Ok, eu encontrei o grupo de comandos que ajuda a recriar o arquivo p12 com senha:
Primeiro, você precisa dividir p12 no arquivo cert e key:
openssl pkcs12 -in vpn.p12 -out vpn.crt.pem -clcerts -nokeys
openssl pkcs12 -in vpn.p12 -out vpn.key.pem -nocerts -nodes
Em seguida, combine-os:
openssl pkcs12 -export -in vpn.crt.pem -inkey vpn.key.pem -out vpn2.p12
Você será perguntado por uma senha, basta digitar a senha que deseja