Você só precisa colocar a localização do novo binário no seu PATH
primeiro. Quando você tenta executar o java, o shell pesquisará seu caminho pela primeira instância e o executará. Tente isto:
$ export PATH=/opt/jdk1.6.0_35/bin:$PATH
Supondo que você esteja usando o bash ou um shell similar. Agora, quaisquer comandos que existam em / usr / bin / serão substituídos por aqueles no novo diretório.