Primeiro, você deve remover o repositório adicionado. use ppa-purge
Diferença entre "ppa-purge" e "add -apt-repository -r "?
ppa-purge - Desativa um PPA e reverte para os pacotes oficiais se aplicável. Por exemplo, se eu adicionei o PPA xorg-edgers e instalei os drivers Nvidia, se eu fizer um ppa-purge no PPA, não só desative o PPA xorg-edgers mas também reverta os drivers NVIDIA de o do PPA aos oficiais encontrados no Ubuntu oficial repositórios.
Agora, depois de limpar o repositório adicionado, atualize a lista de software
sudo apt-get update
faça upgrade
sudo apt-get dist-upgrade
Mas você precisa perceber que talvez ainda seja necessário fazer o downgrade de alguns pacotes manualmente. Para rebaixar um pacote, você pode usar o comando:
sudo apt-get install pkg_name=version