As propriedades no nível do servidor são globais para todo o servidor; todos os sites os herdarão. É possível substituí-los no nível do site.
As propriedades no nível do site são específicas para esse site.
Diferentes configurações de servidor têm requisitos diferentes. As propriedades no nível do servidor podem ser úteis em algumas circunstâncias, mas são extremamente perigosas em outras. Você quer ter cuidado com eles. Especialmente em ambientes como hospedagem compartilhada grande com muitos sites autônomos. Tome, por exemplo, o conjunto de segurança no nível do servidor. Isso seria monumentalmente ruim em um grande ambiente de hospedagem compartilhada.