O grupo adm pode ser importante se uma ferramenta de segurança como o AppArmor (consulte link ) estiver sendo usada para segurança adicional.
Eu mencionei isso apenas porque tive problemas estranhos (falhas de acesso) ao tentar configurar o bind no Ubuntu e usando diretórios diferentes. Ou seja, o bind se recusou a trabalhar com alterações que faziam sentido para mim, mas não eram os padrões do AppArmor. Como eu não queria reconfigurar o AppArmor, voltei aos seus padrões - e sudo su
quando preciso fazer alterações. Para um sistema de usuário único, tudo bem, mas eu não gostaria desse jeito em um sistema de produção.
Por último, o grupo adm pode ser importante se você for auditado - ou seja, um auditor pode considerá-lo uma violação da integridade do sistema se não for um grupo adm. Uma forma pela qual você pode "passar" é usando ACLs (Access Control Lists) - veja link para mais informações sobre isso.