Não afetará o kernel em si (além de não tirar proveito da atualização).
No entanto, alguns programas recém instalados podem depender de recursos mais recentes do kernel.
Além disso, se você executar um programa que dependa do carregamento de um módulo do kernel, poderá descobrir que esse módulo não está mais instalado e que módulos recém-instalados não serão carregados no kernel antigo.
Basicamente, se houver algum problema, você verá. Caso contrário, você está bem.