O Oracle não suporta mais JDKs anteriores a 7, mas você ainda pode fazer o download deles aqui . Para a versão mais recente, vá para aqui .
Escolha sua versão e arquitetura. Você quer a versão do Linux. Obtenha a versão .rpm.bin.
Usando a conta root ou o comando sudo, execute o arquivo que você baixou (chmod it, se necessário). Isto irá extrair & instale os pacotes Java.
Você terminou. Você pode executar java -version no seu terminal para verificar. Também dê uma olhada no wiki do CentOS sobre o SunJDK
Você pode ver o que foi instalado executando rpm -qa | grep java .