Defina multilib_policy=best
no seu yum.conf, o padrão é 'all', então ele instala os pacotes i386 e x86_64. Quando você o define como 'melhor', ele só instalará o i386 se não houver uma versão x86_64.
Da página de manual do yos.conf do CentOS 5:
multilib_policy - Can be set to ’all’ or ’best’. All means
install all possible arches for any package you want to
install. Therefore yum install foo will install foo.i386
and foo.x86_64 on x86_64, if it is available. Best means
install the best arch for this platform, only.