Se você estiver usando o OpenSSH 5.1 ou posterior, ele suporta negação do Match Group .
Supondo que os padrões são aceitáveis para o grupo de administradores, basta alterar todos os outros:
Match Group *,!admin
X11Forwarding no
AllowTcpForwarding no
ForceCommand internal-sftp
Não há realmente nenhuma razão para confiar em shells de terceiros para fazer este tipo de trabalho com versões recentes do OpenSSH.