Eu não conheço o CentOS, mas geralmente é um pacote OpenJDK -headless
em distribuições que não incluem componentes GUI, e normalmente não há dependências para pacotes X11.
Por exemplo, o debian fornece um pacote e o ArchLinux too . Se a sua distribuição não inclui, você pode dar uma olhada neles para ver como ela é construída.