Isso é um pouco prematuro, mas depois de recriar o problema na minha caixa de teste, encontrei o seguinte:
Instalei o mariadb e após a tentativa de instalar o mysql-server, recebi o mesmo erro de transação. Eu removi mariadb-libs-1: 5.5.56-2.el7.x86_64 e o erro ainda ocorreu. O que eu fiz em seguida é:
yum remove MariaDB-common*
Isso removeu o MariaDB-common e o MariaDB-client. Depois, consegui instalar o mysql-server sem problemas.