Você provavelmente não deseja executar uma tarefa Gradle por meio do Xvfb, mas sim executar algo dentro de um Buffer de Quadro Virtual do X Windows FROM de uma tarefa graduada.
Por exemplo, sua tarefa gradle test
pode ser:
xvfb-run -a --server-args='-screen 0, 1024x768x24' google-chrome -start-maximized http://runMyLocalBrowserBasedTest > /dev/null &