Eu não entendo o problema que você teria no Windows com esse arquivo. Eu continuei a fazer não apenas arquivos com o sinal $, mas também pastas usando o sinal de doller, e apaguei prontamente ambos à vontade. Eu também posso criar um arquivo pagefile.sys em algum disco que não tem, que não é designado no registro, é apenas um arquivo?
Se você é um administrador completo no Windows, você pode até Shift-Delete todo o $ RECYCLE.BIN se você estiver tão inclinado.
Existe mais neste arquivo $ que eu não estou testando?
Em um sistema Windows para descobrir os caracteres que eles realmente não gostam de você colocar em coisas, tente renomear ou fazer um novo arquivo e usar isso | ou as barras ou um?, ele vai vomitar todas as coisas que você não deve usar.