Você pode ficar mais leve do que o LXDE usando apenas um gerenciador de janelas como o Fluxbox, o Openbox, o i3-wm ou o incrível dos repositórios padrão do Ubuntu, em vez de um ambiente de área de trabalho.
Para instalar o Fluxbox e alguns pacotes adicionais, como na imagem abaixo, abra o terminal e digite:
sudo apt install lightdm xorg fluxbox catfish eterm hsetroot xloadimage fbautostart fbpager wm-icons
sudo reboot