Se o kernel está carregando módulos que não são necessários, isso é um erro, puro e simples. Primeiro certifique-se de que seus módulos não utilizados não são realmente dependências para módulos que você está usando, então descubra como reproduzi-lo de forma simples (esperançosamente sem módulos de código fechado), e reporte para a sua distribuição.
Qualquer outra coisa é apenas passar o papel por um problema e pode causar problemas por conta própria.