Há uma excelente chance de que as "partes gráficas" que você procura não estejam no kernel. A maior parte da pilha gráfica de uma caixa Linux comum está no espaço do usuário, então não vejo por que o Android seria diferente.
O único grande pedaço de código gráfico no kernel Linux padrão é o Direct Rendering Manager , que é um pouco mais do que uma interface que permite que o código de elementos gráficos do usuário fale com o hardware gráfico. O DRM faz parte da Infraestrutura de Renderização Direta , que é em grande parte do espaço do usuário, assim como tudo o que se refere a ele, como o X Window System , o gerenciador de janelas , os kits de ferramentas widget , o OpenGL , etc.
Esse design minimiza a quantidade de código do kernel propositalmente para reduzir os riscos de segurança de ter excesso de código no espaço do kernel.