O caractere de escape correto no PowerShell é '(o caractere de retrocesso).
Por exemplo você escreveria o seguinte para obter uma string com uma nova linha:
$newline = "'n"
Além disso, pelo menos em um teste, não precisei escapar. Então, apenas Rename-Item "+1.txt" "+2.txt"
funcionou. Uma tentativa usando -replace
exigiu a barra invertida no primeiro argumento, mas não no segundo. Então, $new = "+2"
deve funcionar. A razão é que o primeiro argumento para -replace
pode ser uma expressão regular. Portanto, o termo precisa de um literal + que não seja tratado especialmente. O segundo termo é handeled como uma string literal, então você não precisa de nenhum escape especial ou similar.