Você precisa alterar o valor da variável JRE_LOC
e funciona bem.
Para isso, comente a linha (dentro do arquivo de instalação)
JRE_LOC=$NEW_JRE_LOC
e adicione o caminho do jre dentro da pasta matlab que você tem. Por exemplo:
JRE_LOC=/home/madhav/Desktop/study/Matlab_2011a_Linux/java/jre/glnxa64/jre/
e, em seguida, execute
sudo ./install -glnx86 -v
e deve funcionar bem.