Procurei a resposta, mas encontrei muitas perguntas relacionadas à minha, sem respostas.
Depois de muito estudo, cheguei com uma solução alternativa. Aqui está o que eu fiz
Eu adicionei a interface à zona pública
então
sudo firewall-cmd --permanent --zone=public --add-service=http
sudo firewall-cmd --permanent --zone=public --add-service=https
sudo firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="x.x.x.x/x" service name="ssh" log prefix="ssh" level="info" accept'
sudo firewall-cmd --reload
Nota: o endereço de origem pode ser um intervalo. Basta especificar a máscara de rede
Como o ssh não foi adicionado à zona pública, ele será bloqueado por padrão. A regra rich irá ativá-lo apenas para esse ip de origem.
Qualquer solução melhor, por favor adicione.