Já que você está no Ubuntu, e parece que você está usando os pacotes padrão do Java para o SO da Sun, você provavelmente deve usar o comando 'update-alternatives'. Como você pode ver, eu tenho 2 JVMs instaladas, mas a versão do Sun é aquela que é usada por padrão.
root@workstation:~# update-alternatives --query java
Link: java
Status: manual
Best: /usr/lib/jvm/java-6-openjdk/jre/bin/java
Value: /usr/lib/jvm/java-6-sun/jre/bin/java
Alternative: /usr/lib/jvm/java-6-openjdk/jre/bin/java
Priority: 1061
Slaves:
java.1.gz /usr/lib/jvm/java-6-openjdk/jre/man/man1/java.1.gz
Alternative: /usr/lib/jvm/java-6-sun/jre/bin/java
Priority: 63
Slaves:
java.1.gz /usr/lib/jvm/java-6-sun/jre/man/man1/java.1.gz
Se você tiver apenas um, não precisa se preocupar com isso. Se você tiver mais de um e precisar configurá-lo, poderá usar a versão específica do Java do comando 'update-java-alternatives'. Está tudo aqui:
link