Eu encontrei uma solução:
Adicionando xorg.conf em /etc/X11 ajudou.
Agora, desativar mouses funciona para sempre, mas depois de conectar um novo mouse ou teclado, você precisa ativá-lo manualmente com xinput .
$ cat xorg.conf
Section "ServerFlags"
Option "AutoAddDevices" "true"
Option "AutoEnableDevices" "false"
Option "AllowMouseOpenFail" "false"
Option "AllowEmptyInput" "on"
EndSection