Até onde sei, a única maneira de marcar uma chave privada como não-exportável na sua situação é reimportar o certificado. Uma vez que já é importado, você não pode modificar a variável booleana que define essa opção.
A variável que é pesquisada e define uma chave privada como exportável ou não é:
PrivateKeyExportable
Optional
System.Boolean
The PrivateKeyExportable parameter specifies whether the certificate has an exportable private key, and controls whether you can export the certificate from this server. Valid values are:
$true The private key is exportable, so you can export the certificate from this server.
$false The private key isn't exportable, so you can't export the certificate from this server. This is the default value.