Para adicionar detalhes à resposta de David Schwartz, especificando o parâmetro de inicialização do kernel para definir a quantidade e o endereço inicial usado pelo kernel, você pode fazer o que quiser.
Por exemplo, adicione o seguinte comando aos seus argumentos de inicialização do kernel:
mem=256M@0x80000000
Indica que o kernel deve usar 256M a partir de 0x80000000, que é o que você precisa.
Você deve reverter as configurações do CONFIG para seus valores originais e verificar se o seu kernel inicializará corretamente em sua configuração padrão (sem configuração mem =).
Você pode primeiro experimentar mem = especificando
mem=256M
que lhe dará uma área de memória reduzida a partir de 0, com os 256M superiores sendo não usados. Uma vez que isso parece funcionar, use o 256M com offset como acima.
Tome cuidado também onde na RAM você carrega a imagem compactada inicial pelo uBoot, para garantir que não entre em conflito com a eventual área de memória do kernel.