Você pode usar algumas ferramentas adicionais, como find e egrep :
find directory/ -type f -print | egrep -v '[0-9]+x[0-9X]+\.jpg' | tar cvfz directory.tar.gz -T -
A desvantagem do método mencionado acima é que ele não funcionará para todos os nomes de arquivos possíveis. Outra oportunidade é usar a funcionalidade de exclusão interna de tar :
tar -czvf directory.tar.gz --exclude='*x*X*.jpg' directory
Infelizmente, o segundo método não funciona com expressões regulares, mas apenas com curingas.