Então eu estava certo, há alguma diferença entre a configuração do kernel do ELREPO e a usada no Ubuntu e no Fedora que causa esse problema. Não consegui encontrar qual opção está causando isso quando comparo as configurações do kernel.
Então o que eu fiz foi cat / boot / config * em uma instalação de estação de trabalho fedora e usei isso para compilar o kernel srre rpm do ELREPO. Depois de instalar o novo kernel, o mouse foi detectado imediatamente.
É melhor usar uma configuração de kernel de estação de trabalho do que o centos genérico que é otimizado para servidores de qualquer maneira.