Sim, AllowUsers tem precedência sobre AllowGroups . Se especificado, somente os usuários que corresponderem ao padrão especificado em AllowUsers poderão se conectar à instância do SSHD.
De acordo com sshd_config página de manual :
The allow/deny directives are processed in the following order:
DenyUsers,AllowUsers,DenyGroups, and finallyAllowGroups.
Assim, a solução para o seu problema provavelmente é usar uma ou outra, possivelmente as diretivas de acesso de grupo, se os grupos forem sua maneira preferida de gerenciar usuários.