Se você não precisar do ORACLE Java, poderá alternar para o Icedtea Open JDK. Mas para o seu problema: Para desinstalar completamente um pacote, basta digitar em um terminal
sudo apt-get purge PACKAGENAME
na verdade do Oracle java é
sudo apt-get purge oracle-java7-installer
e, em seguida, instale novamente o jre6
sudo apt-get install openjdk-6-jdk
Tem certeza de que você tem o Oracle Java instalado? Porque do Ubuntu 10.10 o Oracle Java não é mais parte das fontes de pacotes ... Você instalou manualmente?