Você deve poder ver todos os executáveis java disponíveis usando a ferramenta update-alternatives . Por exemplo, no meu sistema:
$ update-alternatives --list java
/usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java
/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java
/usr/lib/jvm/jdk-7-oracle-x64/jre/bin/java
Como alternativa, você também pode pesquisar por /usr/lib para arquivos executáveis chamados java :
$ find /usr/lib -name java -type f -executable
/usr/lib/jvm/jdk-7-oracle-x64/bin/java
/usr/lib/jvm/jdk-7-oracle-x64/jre/bin/java
/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java
/usr/lib/jvm/java-6-openjdk-amd64/jre/bin/java