Você está executando o Ubuntu de 32 bits em uma máquina que não pode ser mais rápida do que um Core2Duo, e que pode até ser apenas um CoreDuo. Se você estiver executando a versão principal, o carregamento do Unity e todo o eyecandy fornecido provavelmente demorará um pouco. Meu próprio laptop Core2Duo engasga com isso também.
A solução seria usar um gerenciador de janelas mais leve. Pessoalmente eu mudei meu laptop para o Debian Mint Debian e use o desktop MATE nele.
Se é um Core2Duo, mude para 64 bits, isso vai ajudar muito.
Aplicar os patches de microcódigo da Intel e compilar seu próprio kernel para ser otimizado para o processador também faz uma diferença significativa e não é tão difícil assim.
Se você realmente deseja desempenho, considere pesquisar no Gentoo ou no Arch. É mais trabalho para manter, mas você ficaria surpreso com a diferença que a otimização das construções para seu hardware específico pode fazer para alguns tipos de tarefas.