Primeiro, remova o PPA, você não precisará mais dele:
sudo add-apt-repository -r ppa:webupd8team/java
sudo apt-get update
O, remova o pacote e limpe os arquivos de configuração:
sudo apt-get remove --purge oracle-java6-installer
Finalmente, se conseguir chegar ao ponto em que modifica o próprio sistema:
sudo update-alternatives --remove-all java
Você pode limpar o cache:
sudo apt-get autoremove
sudo apt-get autoclean
Tada! De volta a um sistema limpo!