O tarball de origem do kernel Linux e o repositório git incluem o código para todas as arquiteturas suportadas, como o ARM.
O subdiretório Documentation/arm/
contém alguns documentos relacionados ao ARM que você provavelmente deve examinar antes de prosseguir.
O código específico do ARM está localizado no subdiretório arch/arm/
(alguns drivers específicos do ARM podem estar nos subdiretórios drivers/*/
).
Portanto, vá em frente e baixe o tarball normal do kernel do kernel.org e comece lendo Documentation/arm/README
, que começa da seguinte maneira:
Compilation of kernel
In order to compile ARM Linux, you will need a compiler capable of generating ARM ELF code with GNU extensions. GCC 3.3 is known to be ...
Parece que depois de ler esse arquivo você terá muitas respostas (e talvez mais perguntas, mas não hesite em perguntar a elas:).