Como posso bloquear o acesso do ssh a usuários com pam?

Question

Andei pesquisando /etc/ssh/sshd_config na última semana, tentando descobrir como bloquear o acesso ssh a todos os usuários, além de mim mesmo.

Meu objetivo é que seja impossível para todos os usuários, exceto para mim, fazer login via ssh e para que minha conta seja acessível por meio da autenticação 2fa + senha ou chave. Atualmente, tenho metade disso funcionando, mas não consigo descobrir como bloquear todos os usuários, exceto eu mesmo. Eu já tenho as linhas que eu esperaria para trabalhar no meu sshd_config :

AllowUsers me
DenyUsers *

Mas quando eu tento e ssh em outra conta de usuário (por exemplo, fred ), ele ainda me pergunta com Password: . Eu também tentei adicionar a seguinte linha no topo do meu /etc/pam.d/sshd :

auth      required   pam_succeed_if.so user ingroup ssh

E tendo apenas eu no grupo ssh .

O que estou fazendo de errado para bloquear todos os usuários além do acesso ssh? Eu tenho que usar o PAM porque é assim que funciona o meu 2fa.