O **/*.xml glob é (inicialmente) um recurso zsh . Supondo que seu jenkins chama zsh para expandir esse glob, e supondo que você possa garantir que sua opção extendedglob esteja definida, a sintaxe seria:
**/*.xml~test/special.xml
~ acima é um operador exceto glob ativado apenas quando a opção extendedglob está ativada.
$ set -o extendedglob
$ echo **/*.xml
foo/a.xml foo/bar/b.xml test/special.xml
$ echo **/*.xml~test/special.xml
foo/a.xml foo/bar/b.xml