Esta questão tem um ano, mas estou tendo os mesmos problemas, também no 14.04, usando xmonad e fglrx. A causa parece ser aplicativos Java. Sempre que um aplicativo Java é executado por mais de um dia, metade da minha memória é preenchida com o Xorg. Os aplicativos Java tendem a não ser exibidos corretamente com o xmonad, o que pode ser resolvido configurando o wmname como LG3D, e presumo que algumas suposições estão sendo feitas sobre o xmonad limpar as coisas, embora isso não ocorra, enquanto o LG3D teria. Isso é puramente especulação embora.
Quanto a responder a pergunta: uma coisa que funcionou para mim é simplesmente sudo lightdm restart
e fazer login novamente. É feio, mas não é tão ruim quanto uma reinicialização: ele não toca na rede, ou seja, nenhuma sessão ssh é mantido vivo. Além disso, é muito mais rápido do que realmente reiniciar na minha máquina. Se alguém chegar com uma resposta adequada, serei um homem feliz, mas por enquanto isso torna isso possível.