O disco rígido está ativo enquanto você volta para sua conta? Se assim for, significa que seu computador está trocando. A cura seria adicionar mais RAM ou reduzir os programas que usam muita memória.
Caso contrário, é uma ineficiência no driver de vídeo. Pode haver um comprometimento que você pode fazer entre efeitos visuais e velocidade - tente desativar alguns dos seus extras do compiz.
Dependendo do motivo pelo qual você está executando várias instâncias do X, pode haver outra maneira que evita a troca demorada. Por exemplo, se você quiser executar programas GUI como outro usuário, poderá usar ssh -X (lento mas simples) ou copiar .Xauthority cookies (velocidade nativa, mas leva um pouco mais de trabalho por sessão). Se você quiser experimentar outro gerenciador de janelas, você também pode fazer isso com Xnest ou VNC.