Cada servidor será executado como seu próprio usuário por padrão. Por exemplo, o Apache (e outros servidores da web) são executados como www-data.
Em geral, você deve estar pronto, mas pode ler sobre o endurecimento de cada servidor. Além disso eu usaria apparmor. A maioria, senão todos, os servidores nos repositórios já devem ter um perfil apparmor.
Outro então, você precisaria fazer uma pergunta específica sobre um servidor específico.
Meu único outro conselho é isolar o servidor na sua LAN. Especificamente, eu uso o iptables na minha LAN para rejeitar pacotes do IP local do servidor.