Sim, você precisa reconstruir todos os seus módulos.
... se você estiver usando um subconjunto da lista original de módulos? Eu tentei isso recentemente e o kernel não pôde inicializar, e quando eu fiz uma reconstrução completa, aparentemente funcionou. Mas desde que eu só tentei isso uma vez eu não posso ter certeza absoluta de que não havia outra coisa que eu mudei entre a primeira e a segunda reconstrução. Eu poderia tentar de novo, suponho, mas levará tempo: P
Houve algum trabalho para tornar os módulos (um pouco) independentes da versão, em que cada função gravava essencialmente seu protótipo e o módulo recusava-se a carregar se houvesse alguma incompatibilidade. Eu não acompanhei isso muito de perto, então eu não sei se isso foi arrancado.
Resposta curta: Sua aposta mais segura é recompilar, os hackers do kernel são inflexíveis em não ter uma API estável (sem falar na ABI) dentro do kernel. Até mesmo uma alteração de configuração pode alterar as alterações no layout da estrutura de dados.