Quando mais threads do que núcleos de CPU, você solicitar o tempo de CPU, o O Agendador de Encadeamentos usa a prioridade (além de outros fatores, como o tempo que o encadeamento está esperando na fila) para descobrir quem pode usar a CPU e quem deve aguardar a sua vez.
Agora, se ninguém está pedindo tempo de CPU e você tem núcleos sentados sem fazer nada, mudar a prioridade não terá muito efeito sobre o sistema, porque a prioridade só importa quando há um empate.
Observe também que, ao definir a prioridade do processo, você também afeta a prioridade do IO para o processo também.