Houve algumas regressões de desempenho em 11,10. Se você acha que 11.04 foi rápido o suficiente, então você pode querer experimentar o Precise Pangolin. Esta é a versão de desenvolvimento que deverá se tornar o Ubuntu 12.04LTS em abril. Alguns usuários relataram que o desempenho já é muito melhor do que em 11,10 e certamente melhorará durante o resto do ciclo. Também é possível que seus problemas sejam causados por drivers ruins para o seu VGA. Um sistema de desktop tende a não ser mais rápido do que parece. Você pode experimentar o Unity 2D e ver se isso ajuda.
Se você quer uma distro realmente leve, você pode usar o Lubuntu. Ao contrário do Ubuntu, ele não é baseado no Gnome, mas é baseado no GTK, então as coisas vão parecer e parecer semelhantes. É extremamente rápido, e como todos os outros sistemas Ubuntu, você pode instalar qualquer aplicativo dos arquivos Ubuntus, incluindo o LibreOffice.