Se você quiser definir JAVA_HOME
corretamente,
Entre no seu terminal e digite:
whereis java
Isso lhe dará o caminho da instalação do java:
gedit /etc/bash.bashrc
(estou usando o sol) adicione no final do arquivo
export JAVA_HOME=/usr/lib/jvm/java-6-sun
Agora você só precisa reiniciar.