Eu usei (dado a um bug de atualização) o kernel 3.8 em 13.10 durante muito tempo .
O único problema que vejo é que esse kernel não é mantido, então
-
você não recebeu as atualizações de segurança (1)
-
Se você precisar compilar algum driver especial, pode ter problemas para encontrar a versão correta dos cabeçalhos.
(1) Olhando o link , parece que o 3.8 será mantido até agosto de 2014.