rm !(*.zip)
Isso parece funcionar. O ! representa "não".
O extglob precisa ser ativado nas configurações de comportamento do shell para que isso funcione. Provavelmente já está habilitado ... mas se não, habilite-o com:
shopt -s extglob
E depois de responder isso ... na verdade Ignacio Vazquez-Abrams você está correto. É praticamente duplicado.