Eu recentemente peguei um servidor de 9.10 para 11.10 (4 upgrades separados) em algumas horas. Houve significativamente menos para fazer em cada atualização e foi baixando a uma velocidade estupidamente rápida, mas isso deve dar-lhe um limite inferior.
A atualização demora mais do que a reinstalação. Não apenas você precisa baixar os pacotes, mas eles precisam extrair e configurar a si mesmos, executando todo tipo de bobagem para garantir a estabilidade. A maioria dos sistemas instalados tendem a ter mais pacotes do que uma nova instalação também.
Mas o que você está passando não parece normal. Eu observaria a visualização do terminal por algum tempo para ter certeza de que ela não está fazendo a mesma coisa repetidas vezes, se for, você pode precisar montar um Plano B.
Se parece que está funcionando corretamente, basta deixar o tempo que você aguentar e ver o que acontece.