Adicione multilib_policy = melhor ao seu /etc/yum.conf
O Yum agora tentará instalar o "melhor" pacote.arch para o seu sistema e ele só instalará esse (contanto que esteja disponível).
Supondo que você esteja em um sistema de 64 bits, o yum tentará primeiro instalar o pacote. x86_64, se isso não existir, ele voltará para i386 e noarch.
A configuração padrão é multilib_policy = all , o que significa instalar todos os arcos possíveis.