Tudo bem, acho que descobri com a ajuda de George Udosen .
Eu editei as regras do sudoers usando:
visudo -f /etc/sudoers.d/overrides
desktop_user ALL=(%desktop_child) NOPASSWD: ALL
Em que desktop_child
é o grupo atribuído a todos os filhos na árvore de desktop_user
.
Isso permite que desktop_user
sudo todas as suas crianças, mas não o contrário.