Tente definir mais algumas variáveis. Abaixo está algo que funciona para mim com o toolchain instalado no meu diretório home (o seu é diferente, basta alterar o MY_ARM_BASE). Eu não faço muita compilação cruzada, então eu coloquei as variáveis necessárias em um arquivo, (eu chamei o meu "myconfig") e o executei com o comando dot para colocá-lo no meu ambiente (para que a permissão de execução não seja necessária) .
. myconfig
Agora o makefile que eu estava usando NÃO era do fornecedor do toolchain, então eu entrei no diretório bin do toolchain e adicionei links para os executáveis com nomes curtos, por exemplo:
ln -s arm-none-linux-gnueabi-g++ g++
Em seguida, adicionei a definição CXX às variáveis toolchain para permitir que o makefile fosse executado.
=== Coloque em um arquivo, por conveniência ===
MY_ARM_BASE=${HOME}/dev/toolchain/arm-2008q3
C_INCLUDE_PATH=${MY_ARM_BASE}/lib/gcc/arm-none-linux-gnueabi/4.3.2/include:${MY_ARM_BASE}/lib/gcc/arm-none-linux-gnueabi/4.3.2/include-fixed
LIBRARY_PATH=${MY_ARM_BASE}/arm-none-linux-gnueabi/libc/lib:${MY_ARM_BASE}/arm-none-linux-gnueabi/libc/usr/lib
CPLUS_INCLUDE_PATH=${MY_ARM_BASE}/arm-none-linux-gnueabi/include/c++/4.3.2
#OBJC_INCLUDE_PATH
COMPILER_PATH=${MY_ARM_BASE}/bin
#LD_RUN_PATH
#GPROF_PATH
#######
CC=${COMPILER_PATH}/gcc
CXX=${COMPILER_PATH}/g++
RANLIB=${COMPILER_PATH}/ranlib
STRIP=${COMPILER_PATH}/strip
export C_INCLUDE_PATH LIBRARY_PATH CPLUS_INCLUDE_PATH COMPILER_PATH
export CC CXX RANLIB STRIP