Como sugerido por Michael Hampton nos comentários, isto parece ser específico para o modelo OVH Fedora 23 Server.
Eu pesquisei cockpit
em /etc
e encontrei o seguinte arquivo:
/etc/firewalld/zones/FedoraServer.xml
Que contém as seguintes linhas:
<?xml version="1.0" encoding="utf-8"?>
<zone>
<short>Public</short>
<description>For use in public areas. You do not trust the other computers on networks to not harm your computer. Only selected incoming connections are accepted.</description>
<service name="ssh"/>
<service name="dhcpv6-client"/>
<service name="cockpit"/>
</zone>
Eu removi esta linha e salvei o arquivo:
<service name="cockpit"/>
E agora funciona!
Eles basicamente parecem ter adicionado um serviço padrão ao firewalld, que não está instalado em seu modelo.