Eu descobri que esse bug está vindo do Governador da CPU, no modo "ondemand", nunca me dava todo o poder do meu CPU, apenas 800Mhz de 2.8Ghz.
Então eu instalei o link e agora eu posso: ver porque tudo está lento e definir a frequência de CPU que eu quero.
Isso não corrige o problema (já que o Governor não fica mais esperto), mas eu não preciso mais reiniciar o sistema.