Bem, basicamente o sistema já faz isso. CPUs ociosas entram em vários níveis de economia de energia c-states, quanto mais profundo o estado c, mais energia será economizada, mas também maior será o tempo necessário para a transição de volta para a ativa. Os processadores mais recentes podem entrar em um estado tão profundo que podem ser considerados "off-line" em termos de consumo de energia. A estrutura inativa dentro do kernel é muito complicada, pois tenta equilibrar o tempo de resposta com a economia de energia.
Por exemplo: Eu tenho um antigo i7 (4 núcleos, 2 threads por núcleo, 8 CPUs), que só vai para o estado c6. Usando o turbostat, recebo os seguintes poderes de pacote em ocioso (e o computador é um servidor, no qual eu desativei muitos serviços, por isso é bem ocioso):
4 núcleos online: 3,92 watts.
3 núcleos online: 3,91 watts.
2 núcleos online: 3,90 watts.
1 núcleo online: 3,90 watts.