Não, -j não significa MHz, ele especifica quantos processos de compilação devem ser iniciados em paralelo. Então você deve colocar o número de núcleos disponíveis para esta opção ou talvez o número de núcleos + 1.
Dependendo da tarefa de compilação, pode ser que haja muito IO em disco, o que retardaria o processo de compilação completo quando um -j seria muito alto, pois colocaria muito mais I / O em seu sistema de armazenamento.