Não esquecendo o uso de '*' na pesquisa ... use um desses. O comando find tem um switch delete, mas é mais comum ver e usar a opção exec.
find ~ -type f -name \*.m3u -delete
find ~ -type f -name \*.m3u -exec rm -rf {} \;
Ou você pode usar -regex não -name.