Sim, ~ 480 MB é normal para um estoque de 64 bits 12.04 com Unity (obtenho semelhante).
Não se esqueça de que o que você chama de sistema "central" está, na verdade, executando um ambiente de área de trabalho 3D, além de vários serviços de segundo plano. O Windows 7 SP1 x64 com o Aero está na mesma região.
Isso não deve ser um problema em um sistema com 2GB ou mais de RAM Se você quiser diminuir o uso de RAM, considere a possibilidade de mudar para uma versão mais leve como o Lubuntu.