O efeito de retardo com diferentes kernels sugere que não é um problema do kernel em si, então provavelmente é algo no espaço do usuário que pode estar limitando ou limitando a velocidade da sua máquina. Uma coisa é verificar se há sobrecarga térmica na CPU e se a CPU está sendo acelerada pela thermal. A saída do dmesg pode ser útil, pois isso mostrará se há alguma superação térmica ou limitação ocorrendo.