rm [0-9][0-9].*
fará isso para arquivos no diretório atual (sem aspas - você quer para corresponder aos arquivos). O .
não precisa ser escapado, porque este é um shell glob e não uma expressão regular (se fosse um regex, isso seria um caractere curinga).
Se você quiser fazer isso de forma recursiva, find
provavelmente é sua melhor aposta.