Você pode executar sudo visudo para editar o arquivo /etc/sudoers . Lá, ou pode especificar quais usuários poderão fazer os comandos sudo. Recomenda-se ver a página man antes ( link )
A negação de coisas especiais escreve um ! na frente dele.
YourFriend = ALL=ALL, !*raspi.conf*