Adicione a seguinte seção:
Section "ServerLayout"
Identifier "Layout[all]"
InputDevice "Keyboard0" "CoreKeyboard"
InputDevice "Mouse0" "CorePointer"
Option "AutoAddDevices" "off"
EndSection
Para encontrar os drivers corretos de mouse e teclado, sugiro que você inspecione /var/log/Xorg.0.log
antes de desativar o udev: você verá qual driver seleciona e quais opções ele pode aplicar a eles.