Eu não sei o que você estava fazendo errado no Process Monitor, porque eu acabei de usá-lo com sucesso. Eu encontrei um número de valores sob a chave HKCU\Control Panel\Mouse . Eu também notei que clicar em "Aprimorar a precisão do ponteiro" altera o comportamento do mouse imediatamente sem gravar no registro (reg é gravado quando você clica em Aplicar ou OK), então seria de esperar que mudasse os valores do Registro com o Regedit não teria qualquer efeito até uma reinicialização.
Pesquisando, descobri que os valores do registro estão documentados pelo MS aqui . Refere-se ao Win2000, mas os mesmos valores de registro são usados no XP. (o painel de controle do mouse pode chamar as configurações por nomes diferentes)