Você não passou as opções corretas para Configure . Certifique-se de passar o argumento linux-armv4 . Se você estiver compilando em cruz, além de armv4 , precisará passar o caminho para o compilador cruzado, bem como incluir e os caminhos da biblioteca, se necessário.
./Configure --cross-compiler-prefix=/opt/gcc-arm/bin/arm-linux-gnueabi- -I/opt/gcc-arm/include -L/opt/gcc-arm/lib