Use find para selecionar todos os arquivos ( type f ) que não ( ! ) começam com 2012 ( "2012*" ). Você então rm (remove) eles imediatamente, ou deixe a opção delete fazer isso por você.
find . -type f ! -name "2012*"
Observe que isso recursivamente desce em subdiretórios. Se você quiser ter certeza de que não remove as coisas que realmente deseja manter, use as opções certas (confira man find para saber mais).
Por exemplo, -maxdepth 1 não entrará em subdiretórios.
Agora, remova esses arquivos:
find . -type f ! -name "2012*" -delete