Não deveria doer. O planejador do Linux está ciente do hyperthreading. O Hyperthreading não custa nada se nada estiver sendo executado nas CPUs extras. Com isso dito, provavelmente não é um grande benefício, a menos que você esteja executando mais de quatro threads com uso intensivo de CPU por vez, mas isso não deve atrapalhar.