Você não precisa entrar em cada diretório separadamente. Basta passar os nomes dos arquivos que você deseja excluir para find
e excluí-los com a opção -delete
.
find . -type f \
\( -name 'dealer_score_01.txt' -or -name 'dealer_score_03.txt' \) -delete
Deixe de fora -delete
para ter certeza de excluir os arquivos corretos.