As únicas coisas especiais que você precisa para construir o Raspberry Pi com suporte a gráficos, em comparação com outros ARMs atualmente:
- linux-next kernel (para obter o devicetree para vc4, até que o 4.7 seja lançado)
- rasperrypi / firmware em uma partição vfat
No entanto, construir tudo do zero será um exercício de frustração e eu recomendo começar de uma distribuição existente com suporte ao ARM.