Primeiro, verifique novamente se você está instalando o Java de 32 bits em um sistema operacional de 32 bits (ou instalando o Java de 64 bits em um sistema operacional de 64 bits). Embora seja possível instalar o Java de 32 bits no Linux de 64 bits, geralmente não há razão para (e você precisa instalar dependências extras para isso).
Em segundo lugar, limpe os arquivos extraídos antigos se a primeira tentativa de instalação falhar. Você não deveria ter que "sudo" para instalar.
Em terceiro lugar, não tente "sh" o instalador; em vez disso, basta torná-lo executável (portanto, você não está contando em encontrar o "sh" correto em seu PATH):
$ chmod a+x ./jdk-6u25-linux-i586.bin
$ ./jdk-6u25-linux-i586.bin
Por último, embora você deseje instalar manualmente o jdk.bin, primeiro tente instalar o JDK empacotado, para ter certeza de ter todas as dependências. Dependendo da sua versão do Ubuntu, você pode ser capaz de:
sudo apt-get update
sudo apt-get install sun-java6-jdk
Você pode ter que adicionar um repositório ppa (pré-10.04) ou ativar repositórios "parceiro" (10.04 / 10.10 ou posterior). Isso mudou um pouco de versão para versão (do Ubuntu). (Veja: link )