Primeiro você está usando um mouse sem fio? Se sim, isso pode atrasar.
Supondo que a pergunta acima é falsa, eu tentaria abrir o Gerenciador de Dispositivos e desinstalar o driver do mouse e reinicializar e deixar o Windows instalá-lo novamente.
Você já tentou esse mouse que está tendo problemas em outro computador? Se você tentar esse mouse em um computador diferente, e o mouse ficar mais lento, será um problema de hardware. Se não, é um problema de software ou driver.
Se isso falhar, por favor poste o modelo do mouse e talvez tente procurar no site de fabricação drivers atualizados.