Você pode fazer algo como:
files=(<->v<->.txt(n))
typeset -A h
for f ($files) h[${f%%v*}]=$f
keep=($h)
echo rm ${files:|keep}
(remova echo se estiver feliz)
-
<->: qualquer sequência de dígitos (<x-y>glob operator sem limite especificado) -
(n): classificação numérica -
${f%%v*}: padrão guloso padrão / ksh retirado do final. -
${files:|keep}: disjunção de matriz.