A resposta genérica é Sim, poderia. Mas apenas o teste lhe dirá com certeza. Eu tenho uma placa dual core Atom com 2 GB de RAM que roda o Ubuntu e nunca uso o ambiente de desktop Unity ou Gnome. Eu prefiro Lubuntu ou LXDE e eu instalo versões despojadas deles (sem bloatware).
Tente isto:
sudo apt-get install --no-install-recommends lubuntu-desktop
Ou se você quiser o LXDE bruto, então:
sudo apt-get install lxde-core
Ou para uma versão simplificada do Gnome 3 use isto:
sudo apt-get install xorg gnome-core gnome-system-tools gnome-app-install
Ou se você quiser manter o Unity (não recomendado), use:
sudo apt-get install --no-install-recommends ubuntu-desktop
Minha opinião é que você verá que o LXDE ou Lubuntu ajudará. Mas como Aditya mencionou, o Xubuntu também é bom. Você pode optar por um deles e, opcionalmente, incluir o modificador - no-install-recommends .