O pacote kernel-devel tem apenas o que é necessário para construir módulos adicionais para o kernel, não para todas as fontes do kernel. Você precisa obter o rpm de origem para construir o kernel inteiro. Você pode ficar usando um kernel vanilla como você disse que fez, ou se você gostaria de construir seu próprio kernel rpm, veja estas instruções