Ter os pacotes desnecessários do Elementary PPA instalados no seu sistema não deve atrasar o seu sistema, se os pacotes do Elementary que você instalou não estiverem sendo usados, como seria o caso se você não puder fazer o login no Elementary porque não há opção de escolher Pantheon. Para remover os pacotes elementares que você instalou do terminal:
sudo apt-get remove elementary-* pantheon-* plymouth-theme-elementary* syslinux-themes-elementary maya-calendar
sudo add-apt-repository --remove ppa:elementary-os/stable
sudo apt-get update
sudo apt-get autoremove