Você precisa instalar o pacote kernel-devel
(e tudo o que é necessário) para que o kernel executando possa construir módulos para ele. E reconstrua cada vez.
Note que o Fedora usa novos kernels e X, muitas vezes acontece que os módulos de terceiros / fornecedores ficam atrás e simplesmente não funcionam.