O arquivo .rpm não é para o Ubuntu, mas para o Fedora, CentOS e outras distros baseadas no Fedora.
Você deseja baixar o arquivo .tar.gz. Para instalar o Java no Ubuntu 12.04, pressione Ctrl + Alt + T no seu teclado para abrir o Terminal. Quando se abre, execute o (s) comando (s) abaixo:
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java7-installer
E após a conclusão da instalação, se você deseja ver se ela foi bem-sucedida, execute o seguinte comando:
java -version
Ou se você quiser baixar o arquivo, consulte Como instalar um arquivo .tar.gz (ou .tar.bz2)
Fonte: WebUpd8