Honestamente, não acho que valha a pena. Sim, fornece um nível adicional de segurança, mas com custo significativo. Segurança não é absoluta; tudo o que você precisa fazer é ser melhor do que outros alvos que correm um risco semelhante de ser atingido (ou que tenham um benefício semelhante para o invasor se estiverem comprometidos). Dado o número de servidores que ainda podem ser abertos usando alguns simples forçamentos de senha, vulnerabilidades triviais de aplicativos da web e níveis de patch maciçamente desatualizados, se você realmente faz tudo isso, fica tão invulnerável em relação a milhões de outros sistemas, o seu risco de invasão já é tão baixo que não vale a pena fazer qualquer desvio adicional.
Isso, é claro, pressupõe que sua análise de risco esteja centrada em ataques não direcionados. Se é provável que você seja um alvo de um invasor especialmente qualificado ou motivado (seja porque você é um alvo valioso, como um banco ou as pessoas querem te levar para baixo, como a Sony), então você pode quer olhar para o SELinux, ou alguns outros produtos de segurança de nicho.