Você observou as temperaturas da CPU e da placa-mãe durante essas quedas de desempenho? Pode ser que o seu chipset da CPU ou da placa-mãe esteja superaquecendo e diminuindo a velocidade e reduzindo o desempenho.
Você pode verificar a maioria dos sensores de temperatura usando o Speedfan