O operador -like é provavelmente o que você procura. Ele não faz nenhuma comparação de expressão regular e funciona com * e ? exatamente como esperado. É insensível a maiúsculas e minúsculas.
Infelizmente, ele possui alguns recursos extras: # corresponde a um número e arranjos com colchetes quadrados como [abc] correspondem a qualquer um dos caracteres dentro dos colchetes. Parece ter a mesma semântica que o filtro Get-ChildItem e o Like
Se isso for problemático, você pode escapar dos caracteres curinga indesejados antes de usar -like :
$path -like ($wildcard.Replace('[', '[[]').Replace('#', '[#]'))