A única maneira de garantir que um PPA seja "seguro": faça o download dos pacotes de código-fonte publicados nesse repositório e verifique o código-fonte contido nesses pacotes de código-fonte. Além disso, antes de instalar as atualizações em sua máquina, você teria que verificar novamente o PPA para ver se um novo pacote de origem foi carregado e auditar esse novo código-fonte.
Obviamente, a maioria dos usuários não consegue fazer isso porque não possui as habilidades necessárias para uma auditoria de segurança. E seria muito demorada.
Se você instalou pelo menos um pacote desse PPA (seja através do apt-get install, ou apt-get upgrade), é teoricamente possível que o seu sistema esteja infectado, mesmo depois de você ter removido esse pacote. Os pacotes são instalados usando privilégios de administrador (root), para que possam prejudicar seu sistema de qualquer maneira concebível. Normalmente, os pacotes não são prejudiciais. Até onde eu sei, ninguém tentou infectar sistemas Ubuntu através de PPAs ainda.
Depois de fazer o add-apt-repository, você deve remover o PPA se não quiser mais. Se contiver pacotes maliciosos, isso não é uma forma segura de reverter para um estado limpo. Como os PPAs podem ser removidos?
Se assumirmos que havia um pacote malicioso instalado em seu sistema, a única maneira de se livrar de uma infecção é reinstalar o sistema completamente ou reverter para um backup mais antigo do sistema.