Apenas descobri como. Crie e edite um novo arquivo de texto em /user/share/X11/xorg.conf.d/50-joystick.conf
com o seguinte conteúdo:
Section "InputClass"
Identifier "joystick catchall"
MatchIsJoystick "on"
MatchDevicePath "/dev/input/event*"
Driver "joystick"
Option “StartKeysEnabled” “False” #Disable mouse
Option “StartMouseEnabled” “False” #support
EndSection