Dada a saída, um simples rm dump-*.zip deve ser suficiente. Nenhum outro arquivo começa com dump- e termina com .zip .
Se você se sentir um pedante:
find . -maxdepth 2 -regextype egrep -type f -regex './dump-[0-9]{4}(-[0-9]{2}){2}_[0-9]{6}-[0-9]{3}\.zip' -delete