Qual versão do OS X Server? Leão?
Tem a certeza de que é "Servidor" & não apenas um cliente do OS X que você está usando como servidor?
Se realmente é o OS X Server, verifique se você está usando o Administrador de servidores para gerenciar o Firewall, não as Preferências do sistema - > Segurança & Privacidade. Este último controla o OS X Application Firewall, que parece que você estava usando. O primeiro controla o firewall BSD PF de nível inferior, que é muito melhor & realmente aclamado pela maioria como o melhor firewall lá fora. Você também pode usar o pfctl na linha de comando para gerenciar o firewall do PF, se quiser.
Editar
Desculpe, algumas dessas informações acima estão erradas. Aparentemente, o Server Admin ainda gerencia apenas o ipfw, que é um firewall BSD mais antigo. Ainda bom, mas não tão bom quanto o PF.