O que você está vendo é uma limitação do Windows: ele não permite usar o formato PKCS12 quando você não tem a chave privada do certificado. Como você importou apenas um arquivo do CER, você não tem a chave.
Se você absolutamente precisa ter um arquivo PKCS12 contendo apenas o certificado, use o seguinte comando OpenSSL :
openssl pkcs12 -export -nokeys -in certificate.cer -out pkcs12.pfx