Você deu uma olhada em outros gerenciadores de janela "mais leves" ;-)?
Estou completamente satisfeito com a i3, por exemplo: link
É apenas um gerenciador de janelas lado a lado com dmenu para o lançamento de aplicativos. Nenhuma área de trabalho, nenhum outro recurso especial e o binário é apenas alguns KBs.
Existem muitos outros nesse intervalo:
O mínimo absoluto seria rodar o seu X-Server sem qualquer gerenciador de janelas e apenas com algo como dmenu ( link ) para iniciar aplicações. Não tenho certeza se isso é realmente o que você quer, porque você não será capaz de redimensionar as janelas do aplicativo, movê-las, etc.