Use apenas:
shopt -s extglob
rm !(filedontwantremove|antotherfilewithatotaldifferentname)
Note, entretanto, que o extglob geralmente está ativado por padrão em shells interativos no bash.
Faça isso para descobrir se está ativo:
$ shopt -p extglob
shopt -s extglob ### The -s means that it is set.
E execute este comando para descobrir a parte do manual que explica o que faz um !(pattern-list)
idiom:
$ LESS=+/'If the extglob shell option is enabled' man bash
... a pattern-list is a list of one or more patterns separated by a |.