Só porque você não tem fontes aleatórias ativadas, não significa que você não tenha o software delas instalado atualmente. Remover uma fonte não remove o software que você obteve dela.
Eu sugiro que você dê uma olhada nos arquivos em / var / log / dist-upgrade / para ver onde as coisas estão falhando.
Se você não conseguir descobrir, talvez publique-os aqui para que possamos dar uma olhada.