Não seriam várias as linhas que se seguem?
%g1-dv-grp server1=(ALL) NOPASSWD: some_commands
%g1-pa-grp server2=(ALL) NOPASSWD: some_commands
%g2-pa-grp server3=(ALL) NOPASSWD: some_commands
Yuu ainda precisa de linhas para cada combinação de servidor / grupo (por isso, não é tão interessante quanto caracteres curinga), mas significa que você pode ter um único arquivo sudoers em todas as máquinas.