Você pode instalar o OpenJDK diretamente pelos repositórios do CentOS, executando yum install java-1.6.0-openjdk
como root. Se você precisa dos pacotes Oracle Java do Sun , visite a página de download do java e siga os links para baixar o JRE.
A vantagem de usar o OpenJDK é que você recebe atualizações automaticamente através do CentOS. O CentOS também tem pacotes para o Tomcat 5, se você estivesse planejando usar isso.