Até onde eu sei, o Spotlight é codificado para funcionar dessa maneira. A maioria das pessoas em sua situação simplesmente desativar o spotlight e usar uma alternativa , como EasyFind .
Se isso for muito drástico, talvez você queira limpar o arquivo .Spotlight-V100
do Spotlight na raiz da sua unidade para forçar a reindexação. Uma vez reindexado, você poderá ver melhor desempenho (e talvez não).