Mesmo que seu segundo script funcione, este é mais simples de entender e pode ser escrito em "melhor PowerShell":
$currentfolder = Get-Location
Get-ChildItem -Path $currentfolder -File -Include folder.jpg,albumart*.jpg,desktop.ini -Recurse | Remove-Item -Force -Verbose
Espero que isso ajude!