O comando update-alternatives permite escolher qual versão do Java usar:
user@host:~$ update-alternatives --config java
Embora geralmente não seja uma boa ideia alterá-lo manualmente (use o comando acima), é possível observar que o binário java real usado quando você digita "java" é controlado por uma série de links simbólicos:
user@host:~$ which java
/usr/bin/java
user@host:~$ ls -l /usr/bin/java
lrwxrwxrwx 1 root root 22 Jan 3 09:03 /usr/bin/java -> /etc/alternatives/java
user@host:~$ ls -l /etc/alternatives/java
lrwxrwxrwx 1 root root 46 Jan 3 09:03 /etc/alternatives/java -> /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java