O Java permite a chamada operação "headless" ao executar determinadas funções relacionadas ao AWT, como criar bitmaps fora da tela, executar a manipulação de imagens, etc., mas há algumas operações que realmente requerem acesso a um sistema de janelas real.
Meu palpite é que uma dessas funções específicas está sendo atingida e não tenho certeza se você tem alguma opção neste ponto além de evitar usar essa função.
Qual é o traço completo da pilha do erro e qual função você está tentando usar? Hudson deve ser capaz de gerar gráficos, etc. sem acesso ao sistema de janelas.