Não seria muito mais fácil tentar compilar o kernel do Android Linux primeiro e não apenas o kernel vanilla do kernel.org? Em princípio, isso deve estar disponível para todos os dispositivos Android, pois o kernel é GPL. Se você não conseguir obter a fonte do kernel para o seu dispositivo alvo, porque o fabricante é ignorante ou um violador GPL conhecido, sua próxima aposta é baixar e compilar o código-fonte para um dispositivo com um SoC semelhante (Tegra 3, RK3188, etc).
Note que inicializar em um dispositivo móvel executando uma infinidade de projetos SoC é uma proposta muito mais duvidosa do que inicializar a partir de um desktop ou laptop com os já conhecidos processadores AMD ou Intel. Na verdade, você nem tem certeza se consegue copiar o kernel ou colocá-lo em flash no dispositivo móvel (a menos que o dispositivo móvel seja um laptop). Então você precisa pesquisar isso também.
Então, a primeira coisa que eu pesquisaria seria o dispositivo alvo. É uma boa idéia escolher um dispositivo que possa inicializar seu cartão SD externo, já que, em teoria, você pode rodar o Linux simplesmente copiando seu kernel e outras coisas do sistema operacional para o cartão SD. Fora isso, escolha um dispositivo com uma partição de recuperação que permita que você faça o flash do kernel para a partição de inicialização apropriada. Tal dispositivo terá efetivamente duas partições de inicialização, a partição de inicialização do Android e a partição de recuperação. Portanto, caso algo dê errado e torne o seu dispositivo não inicializável, você pode pressionar uma combinação especial de botões de hardware em seu dispositivo para poder inicializar a partição de recuperação e retornar o dispositivo a um estado utilizável.