Simples - você usa o sinalizador --exclude do tar:
$ tar -zcvf mybackup.tar.gz --exclude '*.[Jj][Pp][Jj]' StuffToBackup
Isso excluirá * .jpg, * .jpG, * .jPg, * .jPG, * .Jpg, * .JpG, * .JPg e * .JPG
Você pode especificar vários sinalizadores --exclude se quiser excluir mais coisas.