Estou familiarizado com a sua situação (sendo um fã de Xfce eu mesmo).
Você provavelmente está usando o Greybird do projeto shimmer (o padrão do Xubuntu).
É um tema maravilhoso e muito enxuto (escrito), um dos melhores disponíveis.
Às vezes (não sou profissional e não sei dizer por quê), alguns temas não funcionam bem em configurações diferentes.
Selecionar até mesmo os temas xfce (xfce-dusk, etc) me causou o mesmo desempenho inutilizável que você está tendo (incluindo a suíte Greybird que eu amo). Parece que a causa está no gtk-2.0
A solução é selecionar um tema diferente (mecanismo) em Configurações > Aparência.
Os do pacote gtk-engines (Industrial, Redmont, ThinIce, etc) estão livres de atrasos para mim.
A carga da CPU está em torno de 25% durante a rolagem (em um único núcleo) com o tema Industrial.
Boa sorte e espero que você tenha uma sessão gratuita com lag scroll.