Depende de como você executa java . Se você executar java -version sem especificar nenhum caminho, o executável primeiro java encontrado na variável de ambiente $PATH será usado. Isso não tem nada a ver com JAVA_HOME var.
Se você quiser alterar o executável java que está usando com base na alteração do JAVA_HOME var, poderá executá-lo:
$JAVA_HOME/bin/java -version