Você não apresenta muitas informações aqui. Eu suponho que você está trabalhando em um sistema OMAP? Há mais informações sobre o processo de inicialização aqui:
Parece haver algumas restrições de memória que exigem um pequeno carregador de primeiro estágio. Este site alega que o x-loader é derivado do U-boot e que ambos são necessários:
Eu gostaria de sugerir a simplificação da sua imagem de inicialização. O U-boot faz a descoberta do sistema de arquivos e esse pode ser o lugar onde você está vendo os problemas de desempenho. Ele pode reduzir significativamente seus tempos de inicialização se o U-boot estiver procurando por locais que ele realmente não precisa obter o kernel e você pode removê-los. O kernel também fará a interpretação do sistema de arquivos.