Se você instalou o java do ppa, ele configura JAVA_HOME localmente em:
/etc/profile.d/jdk.sh
que é adicionado ao env no login do usuário. Você pode editar este arquivo ou se você usar o etckeeper, é melhor fazer o checkout desse arquivo para qualquer versão que você precise.