Você pode modificar seu arquivo /etc/sudoers
usando visudo
e atingir esse objetivo.
Você pode especificar os comandos permitidos com o sudo, você não precisa permitir acesso ilimitado, por exemplo,
username ALL = NOPASSWD : /usr/bin/apt-get , /usr/bin/aptitude
Isso permitiria que o nome de usuário executasse sudo apt-get
e sudo aptitude
sem nenhuma senha, mas não permitiria outros comandos.
Isso já foi respondido no seguinte link: Permitir que usuários não administradores instalem pacotes via apt ou rpm?
Please note that the only commands a granted user would be able to run using sudo would be the one explicitly mentioned, like in the above scenario user can only use sudo for nothing but apt or aptitude.