Depende se o seu aplicativo é computacional (assim) ou interativo.
Para uma aplicação computacional, a utilização completa da (s) CPU (s) é o seu objetivo, pois isso significa que o resultado está pronto mais cedo. Qualquer coisa que faça com que a utilização diminua é uma oportunidade de melhoria (por exemplo, espera na E / S).
Para um aplicativo interativo, qualquer tempo usado na CPU é o tempo que não é gasto pronto para responder à entrada do usuário. Você gostaria que seu uso fosse baixo.
Algumas aplicações, como editores de multimídia, são computacionais e interativas. Os bons dividem o trabalho em diferentes segmentos, para que possam responder à interação e, ao mesmo tempo, alcançar um alto rendimento. Isso parece ser o que você está fazendo.
Uma coisa que você pode considerar é usar mais encadeamentos para sua carga de trabalho (supondo que seja divisível) para que você mantenha mais núcleos ocupados com o seu cálculo. Se alguns deles estiverem inativos, esse é um recurso desperdiçado!