Resposta geral:
Você não precisa atualizar do Ubuntu 12.04 para 12.04.3. Esses chamados lançamentos pontuais são importantes somente quando você está instalando, para que você não baixe atualizações de 6, 12 e 18 meses. Se você atualizar seu sistema normalmente, já estará usando os mesmos pacotes que os lançamentos de pontos.
Mais informações sobre quais são os comunicados de ponto .
Resposta específica do caso:
Como Alvar apontou, se o seu sistema está quebrado, você deve fazer backup de seus dados pessoais e instalar a partir do zero. Isso garante a estabilidade do seu sistema. Gostaria de baixar a imagem do Ubuntu 12.04.3 para realizar a instalação, para que você não precise instalar todas as atualizações dos pacotes desde abril de 2012.
Qual é a melhor maneira de limpar essa bagunça?
Reinstalando.
Se eu já tenho o Ubuntu 12.04 LTS e tenho um CD com o Ubuntu 12.04.3, ele pode atualizar meu sistema antigo com esse CD sem criar uma nova partição?
Se estiver tão quebrado, a melhor opção não é.