É mais um palpite, pois estou tendo uma lentidão semelhante em um sistema. A razão é que os gráficos não usam o driver de aceleração de hardware correto, mas um driver genérico que está usando a CPU para emular as coisas que a GPU pode usar. Também a carga alta no xorg sugere isso. Eu poderia imaginar que seu procedimento de instalação um tanto exótico impedia o driver gráfico de uma instalação correta. Portanto, antes de fazer qualquer outra coisa, sugiro reinstalar o driver gráfico. Eu não posso orientá-lo, mas você deve encontrar muitas descrições procurando por seu tipo de cartão.