Isso é só porque você provavelmente configurou o caminho para o java usando export em um terminal. Isso só funcionará para a sessão atual (terminal).
Para torná-lo permanente, você teria que adicionar a linha export que você usou ao seu arquivo ~/.bashrc .