De acordo com os requisitos listados no wiki do Ubuntu , sua compilação deve ser mais do que capaz de manipular 12.04. Eu mesmo o executo em uma máquina de 9 anos com apenas um único núcleo (e consideravelmente menos memória).
Instale definitivamente o seu driver gráfico. Digite lspci | grep 'VGA'
na linha de comando (aplicativo 'terminal') para descobrir sua placa gráfica. Procure o número do modelo para descobrir qual pacote, se houver, você precisa instalar para obter o driver relevante.