No seu caso, você tem duas instalações openssl independentes. Um rpm era do repositório on-line do RHEL, outro rpm era do repositório "anaconda" (provavelmente um ISO de instalação do RHEL). Não sei como você conseguiu instalá-lo pela segunda vez, porque por padrão o openssl deve ser atualizado com o novo rpm. É estranho você ter dois rpms instalados.
Uma solução óbvia é yum remove
de todos os rpms do openssl do anaconda (por exemplo, yum remove openssl-libs-1.0.1e-34.el7.x86_64
). Mas teste primeiro com o seu ambiente, como de costume.