Parece um caso típico de o botão do mouse não funcionar corretamente e de registrar cliques duplos espúrios quando você pretendia clicar uma vez, ou não conseguir ficar pressionado enquanto o arrastamento está ocorrendo.
A solução mais simples é substituir o mouse.