Eu percebi isso. Foi um erro ridículo por mim.
Como eu defino JAVA_HOME em tantos arquivos, em toda a confusão eu o defino como /usr/lib/jvm/java-7-openjdk-amd64 in ~/.bashrc . Então, toda vez que eu abri o terminal, ele mudava para isso, não importando o que estava em todos os outros arquivos, pois ~/.bashrc é executado toda vez que o terminal é aberto.