Como afirmado nos comentários, não há uma maneira de controlar os sudoers da maneira solicitada, embora haja permissões refinadas disponíveis no sistema:
Mas mesmo que isso não seja suficiente, você basicamente teria que substituir todas as bibliotecas de programas padrão por scripts para filtrar sinalizadores. O que seria confuso e potencialmente quebraria o sistema.
Em vez disso, considere inverter o problema e criar usuários que não precisem de sudoers. Certificando-se de que eles estão nos grupos certos e usando as ACLs para expandir as permissões quando necessário, para que possam acessar os arquivos de que precisam sem causar problemas.