No meu caso (CentOS), eu tive que baixá-lo do orracle ( jdk ), em seguida, use rpm em vez de yum.
Eu encontrei a maior parte aqui
Primeiro eu fiz
rpm -ivh jdk-7u51-linux-i586.rpm
Em seguida, verifiquei se ele estava instalado
/usr/java/latest/jre/bin/java -version
Em seguida, adicionou-o a alternativas
## java ##
alternatives --install /usr/bin/java java /usr/java/latest/jre/bin/java 200000
## javaws ##
alternatives --install /usr/bin/javaws javaws /usr/java/latest/jre/bin/javaws 200000
## Java Browser (Mozilla) Plugin 32-bit ##
alternatives --install /usr/lib/mozilla/plugins/libjavaplugin.so libjavaplugin.so /usr/java/latest/jre/lib/i386/libnpjp2.so 200000
## Java Browser (Mozilla) Plugin 64-bit ##
alternatives --install /usr/lib64/mozilla/plugins/libjavaplugin.so libjavaplugin.so.x86_64 /usr/java/latest/jre/lib/amd64/libnpjp2.so 200000
## Install javac only if you installed JDK (Java Development Kit) package ##
alternatives --install /usr/bin/javac javac /usr/java/latest/bin/javac 200000
alternatives --install /usr/bin/jar jar /usr/java/latest/bin/jar 200000
Em seguida, você precisa definir as alternativas para apontar, por exemplo, certifique-se de fazer
alternatives --config java
alternatives --config javac
etc e que o novo jdk está selecionado.