Você precisa certificar-se de que você export do caminho de Java no .bashrc ou de qualquer script que esteja chamando java binários.
export JAVA_HOME=/path/to/lib/jdk1.6.0_45
Certifique-se de usar o caminho correto e o nome da pasta jdk. Você aponta o JAVA_HOME para a pasta pai que contém os diretórios bin e lib .
Exemplo:
[User jdk1.6.0_45]$ ls -lh
total 19M
drwxr-xr-x. 2 root root 4.0K Jul 9 2014 bin
-rw-r--r--. 1 root root 3.3K Mar 26 2013 COPYRIGHT
drwxr-xr-x. 3 root root 4.0K Jul 9 2014 include
drwxr-xr-x. 6 root root 4.0K Jul 9 2014 jre
drwxr-xr-x. 3 root root 4.0K Jul 9 2014 lib
-rw-r--r--. 1 root root 40 Mar 26 2013 LICENSE
drwxr-xr-x. 4 root root 4.0K Jul 9 2014 man
-rw-r--r--. 1 root root 115 Mar 26 2013 README.html
-rw-r--r--. 1 root root 19M Mar 26 2013 src.zip