Tente executar yum install mod24_ssl , o que acho que você já fez. Qualquer pacote que tenha versões adicionais geralmente requer que a versão seja especificada para quaisquer dependências. Então tudo para php54 seria prefixado com php54- .
Se você não tiver certeza, sempre pode fazer um yum search com algumas palavras-chave. Por exemplo: yum search mod ssl lista os pacotes disponíveis.