O que eu faço nesses casos é digitar
rm *
Em seguida, pressiono Ctrl + X , * para expandir *
em todos os nomes de arquivos visíveis.
Então eu posso apenas remover os dois arquivos que eu gosto de manter na lista e finalmente executar a linha de comando.