Que tal usar o Xubuntu ? Lubuntu e Xubuntu são duas coisas diferentes - Lubuntu usa o ambiente LXDE, enquanto o Xubuntu usa o XFCE, (e o vanilla Ubuntu usa o Gnome, Kubuntu KDE, etc).
O XFCE é conhecido por seus baixos requisitos de sistema e capacidade de funcionar bem em sistemas como o seu. O Xubuntu foi ajustado e refinado para executar o XFCE no Ubuntu (integração, tematização, etc).
Alternativamente, você pode pegar a edição do Ubuntu Server (que é basicamente apenas uma versão sem cabeça do Ubuntu) e instalar o gerenciador de janelas de sua escolha, como Veneno de Rato ou uma das famílias de caixas * (Openbox, Fluxbox, Blackbox), todas também conhecidas por serem extremamente leves. Isso permitiria que você instalasse apenas o que você deseja usar e não precisasse se preocupar com a extração de bibliotecas de dependências não utilizadas.