Consegui resolver o problema aqui, foi simplesmente desabilitei o controle na lista Xinput, caso os comandos que usei fossem xinput list para ver o ID do meu controlador e xinput disable *ID* para "desabilitá-lo" e , embora o controle esteja "desativado", seus botões e função analógica normalmente, mas não movem o mouse mais