Qual versão do OS e do PowerShell você está usando? Seu exemplo rm cert:\CurrentUser\My\thumbprint
funciona na minha máquina.
A outra maneira que eu faria é através do pipeline. Mas, afinal, é a mesma coisa usando Remove-Item
.
gci cert:\CurrentUser\My | Remove-Item
O A documentação do Remove-Item
indica que a capacidade de usá-lo em relação aos certificados foi adicionada no PowerShell versão 3.0.