O mais provável é que o servidor esteja fazendo outras coisas diferentes em segundo plano. As consultas do MySQL são muito afetadas pelo IO, e os distúrbios na forma de outros processos que executam o trabalho de IO na máquina podem alterar significativamente os tempos de consulta.
Certifique-se de estar executando isso em um servidor isolado, se quiser comparações de desempenho repetitivas.