Primeiro, teste com:
find path-to-folder -maxdepth 1 ! -iname 'excludeme' -and -type f -exec ls "{}" \;
Então:
find path-to-folder -maxdepth 1 ! -iname 'excludeme' -and -type f -exec rm "{}" \;
-maxdepth 1 significa procurar apenas na pasta atual (e precisa ser a primeira opção)
-iname (ou -name) diz para não incluir nada que corresponda ao que você quer ficar.
-tipo f garante que você não obtenha diretórios na pasta atual.