Tente criá-lo com suporte a gtk em vez do kit de ferramentas Athena.
./configure --with-x-toolkit=gtk --with-gif=no --with-tiff=no
make -j8
( fonte )
PS: Você tem mais de 16 núcleos disponíveis na sua caixa de construção?
Editar:
Se isso também não funcionar, você pode tentar desativar totalmente a funcionalidade X com
./configure --without-x --without-ns --with-gif=no --with-tiff=no
Editar2:
Ou, melhor ainda,
./configure --help
e desabilite tudo o que você não quer realmente e saiba que você tem os deps na seção "Pacotes opcionais:".