Existem várias maneiras de fazer isso, algumas delas podem causar problemas.
Remova o OpenJDK da maneira segura selecionando tudo sozinho.
Verifique o que está instalado e o que você deseja remover.
Abra um terminal e execute:
sudo dpkg --get-selections
Selecione e limpe os pacotes que você deseja remover.
Abra um terminal e execute:
sudo apt-get purge <package>
Exemplo:
Remoção de pacotes instalados
openjdk-8-jdk:amd64
e openjdk-8-jre:amd64
e openjdk-8-jre-headless:amd64
sudo apt-get purge openjdk-8-jdk openjdk-8-jre openjdk-8-jre-headless