Provavelmente existe um gargalo de transferência de dados em algum ponto da cadeia. Poderia ser o barramento, o HD, etc. Assumindo que você está usando o Windows, você pode usar o perfmon para definir alguns contadores de desempenho e ver o que você pode descobrir.