Sim, é mais seguro remover os PPAs e seus pacotes. Os upgrades do Ubuntu são testados para instalações padrão, não para a instalação na qual tudo é alterado por PPAs. Removendo repositórios extras (não apenas PPAs, mas também repositórios de terceiros) e seus pacotes associados, você retorna o sistema ao seu estado original.
Após a atualização, você está livre para instalar seus PPAs preferidos, é claro.