Eu também estou tentando construir o Apache 2.4.1 no CentOS 5.5 e resolvi esse erro com a modificação do arquivo http.spec:
%configure \
--target=x86 \
--enable-layout=RPM \
A linha com o --target é adicionada. A compilação está funcionando bem, até agora.