Você não especificou um shell. Então, vou assumir bash
. A próxima questão é: você configurou para seu usuário apenas ou para todo o sistema? Se você definir apenas para seu usuário, execute:
grep JAVA_HOME ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc
Se você definir todo o sistema, poderá variar com a distribuição, mas tente:
grep JAVA_HOME /etc/environment /etc/bash.bashrc /etc/profile.d/* /etc/profile
Se o acima não der resposta, você pode usar uma rede mais ampla:
grep -r JAVA_HOME /etc
grep -r JAVA_HOME ~/
Veja também as sugestões em Como determinar onde uma variável de ambiente veio de .