Sem entrar no Tomoyo, a solução mais simples provavelmente seria definir permissões 070 na pasta protegida e, em seguida, usar o bit setgid para permitir o acesso pelos programas apropriados.
Isso exigiria mais pensamento / controle se você tiver vários usuários no sistema e quiser limitá-los separadamente.