carregue o xfce-desktop e selecione XFCE como sua área de trabalho na tela de login. Ele usará menos recursos.
O único problema que você terá depois disso será remover UNITY e todos os outros aplicativos e serviços do sistema que foram instalados com ele, o que pode estar sobrecarregando sua máquina.
Gostaria apenas de fazer uma nova instalação com o xubuntu e ver como funciona. Faça backup dos seus arquivos primeiro, claro.
Você com certeza vai se livrar do zeitgeist e de qualquer outro serviço que indexe automaticamente seus arquivos e outros serviços.