Primeiro você deve saber como os outros são sudoers, então você não pode restringir o acesso deles, mas existe uma maneira complicada e simples de fazer o que você quer.
Antes de mais nada, você deve especificar todos os pacotes que você restringiria.
Abra o arquivo de configuração do sudoer:
sudo visudo
por exemplo, vou impedir que o usuário chamado user instale o youtube-dl. Adicione esta linha ao arquivo.
user ALL = ! /usr/bin/apt-get install youtube-dl
Agora, o usuário chamado user não conseguiu instalar o pacote youtube-dl .
$ sudo apt-get install youtube-dl
[sudo] password for user:
Sorry, user user is not allowed to execute '/usr/bin/apt-get install youtube-dl' as root on userPC.
Refaça a mesma operação para outros usuários e outros pacotes.
No final, você também deve impedir que esses usuários editem o próprio arquivo de configuração sudoer, de modo que, acima, você tenha que adicionar a linha para cada usuário
user ALL = ! /usr/bin/apt-get install youtube-dl \
! /usr/sbin/visudo
Então, agora para o usuário
$ sudo visudo
[sudo] password for user:
Sorry, user user is not allowed to execute '/usr/sbin/visudo' as root on userPC.