É mais provável que não seja devido ao escalonamento da CPU.
Veja o link
escala de freqüência da CPU para 12.04?
Você pode definir seu governador para o desempenho
GOVERNOR="desempenho"
Pessoalmente, eu colocaria de volta para onde uma vez que você terminar de usá-lo