Este é o servidor de gráficos do sistema e não deve ser eliminado. Ele converte o layout de aplicativos da área de trabalho em operações de desenho de baixo nível em sua placa gráfica e roteia entradas de teclado e mouse para o aplicativo correto que deve recebê-las.
A referência ao LightDM é que este é o primeiro cliente que inicia (a tela de login do Ubuntu); a referência ao tcp é porque o X é projetado para ser transparente à rede - ele pode funcionar muito bem com dispositivos de entrada, aplicativos e dispositivos de exibição, todos em execução em computadores diferentes. (Eu acho que no Ubuntu ele está configurado para não aceitar conexões de rede, apenas aquelas que vêm através do SSH, mas podem estar erradas).
Verifique se as estatísticas que você está usando são do próprio em vez de X e filhos, já que os filhos incluem todos os aplicativos que você executa em um ambiente gráfico. O uso excessivo de recursos pelo próprio X geralmente se resume a problemas com os aplicativos da área de trabalho, mas isso pode ser muito difícil de depurar.