Embora possa parecer que o X está usando toda a RAM, 99% do tempo não é X, mas algum aplicativo cliente.
O Xserver é um servidor e responde às solicitações do cliente. Os clientes podem aumentar o uso de X RAM ou CPU fazendo chamadas excessivas para o xserver, como um ataque DDOS contra um servidor da Web.
A maneira padrão de depurar esse tipo de problema é examinar sua lista de processos (por exemplo, 'ps aux') e começar a eliminar os aplicativos um por um até que a carga se dissipe. Tudo o que você matou por último é provavelmente o culpado.
O programa xrestop
pode dar alguma indicação de quais clientes estão usando recursos, no entanto, infelizmente, a coluna de memória nesse relatório não fornece uso total de memória, apenas memória de pixmaps. Mas isso pode te dar um ponto de partida.