Você pode usar a seguinte cadeia:
ls : lista de arquivos / diretórios
sort -nr : arquivos de classificação / diretórios numéricos, invertidos
tail : deixe na lista apenas as últimas entradas $ n (aqui: 4) (se apenas 4 permanecerem, a lista estará vazia)
por exemplo:
ls | sort -nr | tail +5
Em seguida, pegue os arquivos e exclua-os; (isto é, com xargs + rm)