A melhor opção aqui é usar o PPA do kernel Mainline. Evita baixar, extrair, compilar e instalar o kernel manualmente a cada vez (incluindo ter que configurá-lo corretamente).
Você deve ler isto: link
Mas como você está falando sobre o git, você também pode usar diretamente o repositório git do Linux, por exemplo, o Linux-stable, e verificar o branch e a tag que você quer.