Sua instalação está boa, mas você precisa do sistema de alternativas para definir o binário padrão a ser executado quando você digitar apenas jave ou javac . Basicamente, o sistema de alternativas permite que você selecione um binário para executar quando existem muitos outros binários alternativos com a mesma funcionalidade.
No seu caso, você tem duas versões de java instaladas com alternatives tendo apenas a versão antiga vinculada como genérica java binário. Você precisa adicionar a nova versão nas alternativas binárias do java e também defini-la como padrão, priorizando-a sobre outras usando um valor numérico.
sudo update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.8.0_40/bin/java 100
sudo update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.8.0_40/bin/javac 100
Esse comando fará o trabalho, nós vinculamos os novos binários às alternativas java e javac , também os definimos como padrão, dando-lhes maior prioridade (100) sobre as versões mais antigas (2 - verificado por update-alternatives --display java & amp; update-alternatives --display javac , você também pode usar update-alternatives --query java ).