Para um único diretório:
remove-item C:\path\to\test-folder\* -include *.mp3, *.mpeg
ou um método útil para quando os arquivos ocupam vários diretórios:
remove-item C:\path\to\test-folder\*.mp3, C:\path\to\other\test-folder\*.mpeg
ou você pode ir primeiro para esse diretório:
cd C:\path\to\test-folder\
remove-item *.mp3, *.mpeg
Use Get-Help Remove-Item -full
para detalhes completos sobre sinalizadores e uso disponíveis.