Pode ser qualquer um dos motivos. Compiz está sendo reescrito, e parece ser um pouco mais lento, atualmente. O Linux também teve alguns problemas.
É muito difícil dizer exatamente o que é. O que eu posso dizer é que você não está imaginando, e que o Precise é muito mais rápido e frio. 11,10 em particular tem sido bastante lento e quente. Houve um grande trabalho de transição, então talvez isso também tenha contribuído para isso. Em qualquer caso, o 12.04 vai consertar essas coisas. As melhorias já são mais do que notáveis.