Seguindo o princípio KISS, eu apenas monitorava a memória livre com free -m
tentando executar o mesmo conjunto de aplicativos do usuário pelo mesmo período de tempo. Apenas lembre-se de que 'cache' também é memória livre, então você precisa da segunda linha que mostra quais são os volumes de memória reais usados e livres.
Com relação a CPU - WMs geralmente não usam CPU por si mesmos - eles fazem isso reagindo às ações de alguns usuários, então você pode fazer benchmark criando / apagando muitas janelas, movendo-as e assim por diante.