Resposta do @faker deve ser tentada primeiro, mas se isso não funcionar, eu encontrei as seguintes instruções em rpm.org
Se você quer estar no lado seguro, baixe também o rpms do yum e todas as dependências
(Substitua pelo exato apropriado para sua instalação)
wget http://mirror.centos.org/centos/6/os/x86_64/Packages/openssl-<version>.rpm
wget http://mirror.centos.org/centos/6/os/x86_64/Packages/openssl-devel-<version>.rpm
rpm -i openssl-*
file /usr/lib64/libcrypto.so.1.0.1e from install of openssl-1.0.1e-16.el6_5.4.x86_64 conflicts with file from package openssl10-libs-1.0.1e-1.ius.el6.x86_64
.... lots more lines
Agora faça um backup de todos esses arquivos conflitantes, de forma que você possa restabelecê-los na pasta correta caso algo dê errado.
Finalmente, você pode dar um salto e fazer:
rpm -iv --replacepkgs --replacefiles openssl-*
Se tudo correr bem, yum update
deve funcionar.
Editar: também apague os pacotes para que eles não entrem em conflito com atualizações futuras:
rpm -qa |grep ius
... lists packages
rpm -e openssl10-libs-1.0.1e-1.ius.el6.x86_64
rpm -e openssl10-devel-1.0.1e-1.ius.el6.x86_64