Se você "só" às vezes usa um aplicativo, que usa bibliotecas GTK ou QT, mas geralmente não os usa, então vale a pena, pois as bibliotecas só são carregadas se um aplicativo usá-las. Além disso, a maioria dos aplicativos usa apenas "algumas" bibliotecas, não tantas quanto o próprio gerenciador de janelas pode precisar ser carregado. E, além das bibliotecas, há mais coisas que um gerenciador de janelas carrega, que não são carregadas ao usar outro gerenciador de janelas, mesmo com as bibliotecas desse gerenciador.
Por fim, você notará com certeza uma inicialização mais rápida do sistema ao usar um gerenciador de janelas leve.