A solução simples é colocar seu comando em um script e depois fornecer aos usuários acesso ao script via sudo.
user ALL = (root) NOPASSWD: /path/to/yourscript
Então
#/bin/bash
chroot /chroots/box /bin/bash -c 'cd /repos/system && git pull'
Garanta que seus usuários não tenham acesso de gravação ao seu autor.