O grupo adm no Debian tem um GID alocado estaticamente, que é 4. Não há usuários do sistema nesse grupo (e também não deve haver usuários humanos).
Assim, você não precisa fazer nada além de adicionar o grupo adm de volta:
addgroup --gid 4 adm
Você também pode restaurar o grupo automaticamente (assim como desfazer quaisquer outras alterações que você fez nos usuários e grupos do sistema padrão Debian) executando o comando update-passwd ( update-passwd -n para ver quais mudanças seriam feitas, mas não executá-las).
Você pode encontrar a descrição dos usuários do sistema em /usr/share/doc/base-passwd/users-and-groups.txt.gz . O grupo adm é o proprietário de alguns arquivos de log; esse é todo o uso que ele recebe no Debian. Se você ficou sem o grupo adm durante a noite, alguns crontabs que executam o gerenciamento de arquivos de log (especialmente rotação) podem ter falhado.