Isso pode ser causado por uma assinatura digital ausente ou incorreta. Tal como a Apple explica :
If you run an unsigned app that is not listed in the firewall list, a dialog appears with options to Allow or Deny connections for the app. If you choose Allow, OS X signs the application and automatically adds it to the firewall list.
[...]
Some apps check their own integrity when they are opened without using code signing. If the firewall recognizes such an app it doesn't sign it. Instead, it the "Allow or Deny" dialog appears every time the app is opened. This can be avoided by upgrading to a version of the app that is signed by its developer.
Este diálogo também pode ser mostrado toda vez se o aplicativo estiver assinado, mas a assinatura do próprio aplicativo estiver quebrada, como mesmo para o iTunes .
Você pode verificar a assinatura executando o seguinte comando no Terminal (não tenho certeza sobre o nome do seu aplicativo aqui):
codesign --verify -vv /Applications/Syncthing.app/
Como alternativa, talvez remova o aplicativo nas configurações do firewall e veja se aceitar mais uma vez é suficiente para impedir que o OS X avise você? Ou talvez adicioná-lo explicitamente por meio dessas configurações?
Quanto ao padrão: verifique se a opção "Permitir automaticamente que o software assinado receba conexões de entrada" está ativada: