Quais são as especificações do servidor? RAM, CPUs físicas?
Uma coisa que você pode tentar rapidamente é cortar seu servidor de compilação em UM ou DOIS CPUs virtuais e repetir sua avaliação. Essa é a preferência, já que é mais fácil para o hipervisor alocar tempo de CPU para uma única vCPU quatro núcleos livres para fornecer recursos para quatro vCPUs que você forneceu.