Existe um comando especialmente adequado para isso:
rename -n 's/.*?(\d+.jpg$)/$1/' *.jpg
É prename on debian e derivado, e é um executável perl .
Remova o interruptor -n se o seu teste se adequar às suas necessidades.
Para torná-lo o padrão (ainda debian e derivado:
update-alternatives --set rename /usr/bin/prename