Se você subir um nível, você pode fazer:
~music/artist_a/album1$ cd ..
~music/artist_a$ rm */*.mp3
para excluir mp3s de todos os diretórios dentro da corrente. Se você deseja excluir apenas de subdiretórios específicos:
~music/artist_a$ rm {album1,album2,album4}/*.mp3
Você também pode usar find
para excluir todos os mp3 em subpastas de todos os níveis
~music/artist_a$ find . -iname '*.mp3' -delete
Use esses comandos com cuidado.