Se você não seguiu o segundo passo Se o seu aplicativo não funciona com o openjdk e adicionou o PPA ao seu sistema, tudo deve estar ok, já que você está usando o versões de pacotes fornecidas pelo Ubuntu.
Para remover os pacotes que você acabou de instalar, faça o oposto do que você fez para instalá-los
sudo apt-get remove openjdk-6-jre icedtea-plugin
Se você adicionou o PPA para instalar a versão do Java do Oracle, não há garantia da qualidade desses pacotes. Se você quiser mais informações sobre PPAs, dê uma olhada em
Para os perigos relacionados à adição de PPAs ao seu sistema, você deve ler também
Há boas notícias difíceis. Você pode remover um PPA de seu sistema e limpar todos os pacotes instalados em seu sistema com uma pequena ferramenta chamada ppa-purge
. Saiba como instalar e usar olhando para
Se você precisa de uma maneira correta de instalar o Java em seu sistema sem usar PPAs e pacotes criados por outras pessoas, você pode escolher e seguir as instruções de fazer isso aqui