4 anos depois, responderei a minha própria pergunta! Parece que em algum momento o MariaDB HQ começou a oferecer os repositórios Yum que você pode instalar dentro do CentOS para automatizar as atualizações:)
Aqui está uma descrição geral:
Aqui está uma página que permite gerar o código de configuração do Yum para sua versão exata do CentOS + MariaDB:
Eu testei e parece funcionar, está até mesmo disposto a atualizar a versão instalada do RPM do MariaDB que eu tinha da minha solução anterior.