Regra geral: ao atualizar os PPA instalados manualmente, é necessário desativá-lo. O sistema fará isso por você durante a atualização. Mas de tópicos em AU parece que isso às vezes causa problemas.
Na maioria das vezes (mas nem sempre) você pode reutilizar um PPA em uma nova versão, então eu tentaria rastrear esses PPAs e ver se há versões para a nova versão (seja a atual ou uma PPA que tem um novo nome ou versão). Não há garantia de que os PPAs que você usou em uma versão estão disponíveis em outra versão. O PPA pode ter se tornado obsoleto (esperançosamente porque o Ubuntu adotou recursos similares), quebrar seu sistema ou simplesmente parar de funcionar.
Eu realmente preciso remover completamente meus drivers nvidia quando faço uma atualização de distro?
É recomendável remover os drivers instalados que não estão incluídos por padrão. Então não apenas para a placa de vídeo.
O software de terceiros é a causa mais provável de problemas com a atualização.