O Ubuntu 12.04 usa mais recursos 3D, portanto, se a sua placa gráfica não for boa o suficiente, ela pode estar procurando memória na sua RAM, o que também é bastante baixo para o uso atual.
Você pode usar um Ubuntu 2D. Eu acho que isso funcionará melhor para você e você verá que a velocidade neste ponto é muito irritada.