Se você quer que seja mais rápido (mais velocidade e menos tempo), faça isso
Instale o apt-fast a partir do link
e, em seguida, execute o comando
sudo apt-fast dist-upgrade
O tamanho do download será o mesmo neste caso, mas será mais rápido devido a várias conexões com a Internet.
Se você ainda estiver obtendo velocidades de download menores, recomendo que você baixe o CD 12.04 e atualize a partir dele (faça o backup dos dados necessários caso algo dê errado)
A diferença entre duas instalações é
1) O gerenciador de atualização atualizará todos os pacotes instalados em seu sistema para versões mais novas, se disponíveis em 12.04
2) A atualização do CD tentará atualizar apenas alguns pacotes do 11.10 para coincidir com os pacotes padrão do 12.04 e, se não for possível, pode atualizar algumas dependências também, mas tenta ser mínima.
Então, obviamente, o segundo é mais rápido