Isso não aborda especificamente a questão sobre se você precisa ou não ter repositórios de código-fonte ativados. Mas você pode achar útil, pois aborda diretamente a causa mais comum da lentidão que você está tendo. Copiei isso da minha resposta aqui .
Você pode fazer com que o gerenciador de atualização selecione os melhores repositórios principais para usar automaticamente, o que resultará nas melhores velocidades de download. Para fazer isso, abra o Gerenciador de Atualizações e clique em Configurações. Selecione a guia Software do Ubuntu e, em seguida, no menu suspenso "Fazer o download de:", selecione Outro ...

Agora,najanelaqueaparece,cliqueem"Selecionar o melhor servidor"

Emseguida,eleexecutaráváriostestesparaselecionaromelhorservidorparavocê.Quandoestiverconcluído,bastaclicaremEscolherServidor.
Agora, execute suas atualizações novamente e você deverá notar uma melhoria (se seu melhor repositório disponível ainda não tiver sido selecionado).