Primeiro, os executáveis de 64 bits tendem a ser maiores que os executáveis de 32 bits, o que poderia significar mais uso de RAM. Embora duvide que isso seja realmente perceptível.
Segundo, você quer que o Ubuntu use a RAM do seu computador. O fato de você ter 4 GB a mais de RAM instalada significa que o Ubuntu usará a memória RAM mais ansiosamente. E isso é uma coisa boa.
Para colocar sua experiência em relação: Nesta mesma máquina, eu tenho 4GB de RAM, dos quais 3GB estão atualmente em uso. Mesmo que alguns programas consumam memória como se fosse um doce (por exemplo, Java), não usar a RAM disponível seria ruim para o desempenho. Você sempre quer que os dados de trabalho estejam na RAM e não no HDD lento.
Portanto, ter 1 GB em uso significa que seu sistema é bastante preguiçoso e funciona normal . O que não quer dizer que não era normal o seu sistema consumir 7 GB. Normal depende do software que você executa.
Na página de requisitos para o Ubuntu 12.04, são necessários 512 MB se você quiser um ambiente de desktop. 384MB são necessários para instalação sem ele.
Esses requisitos limitam o que um PC precisa para rodar o Ubuntu. Qualquer RAM a mais é bônus e deve ser usada pelo bem do desempenho.