Sim, certamente é possível.
Primeiramente você precisa consertar seu uso de sudo, para executar um comando como um usuário diferente de root (o padrão) com sudo a sintaxe é: sudo -u username command
Você pode bloquear os usuários cuja identidade um usuário pode assumir por meio do arquivo /etc/sudoers
config, por exemplo, um usuário totalmente privilegiado se parece com:
jim ALL=(ALL) ALL
Considerando um usuário com restrições:
jim ALL=(admin,bill) ALL
O que significa que se eu tentar executar um comando como um usuário que não esteja na lista, será negado:
jim@mybox:~$ sudo -u nobody whoami
Sorry, user jim is not allowed to execute '/usr/bin/whoami' as nobody on mybox.