uma opção é remover o serviço: https da zona
firewall-cmd --zone=public --remove-service=https
e, em seguida, use o que é conhecido como regras avançadas para especificar quais origens [endereços IP] podem acessar o serviço [como http e https] da seguinte forma:
firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="x.x.x.0/24" service name="https" log prefix="https" level="info" accept'
pode ser necessário recarregar embora