Você pode excluí-los executando:
rm file\ {01..50}
O \ está lá para escapar do espaço que você tem no nome do arquivo, enquanto {01..50} define um intervalo de números inteiros de 01 a 50 .
Eu recomendo alterar rm para ls primeiro para confirmar se os arquivos corretos estão listados antes de usar rm para excluí-los!