Isso deve funcionar "fora da caixa" e não exigir mais nada, colocando os usuários com chaves públicas em seu arquivo .ssh / authorized_keys para o usuário correspondente no servidor. (Se este arquivo não existe para o usuário, faça isso!)
A única coisa a ter em conta é que, se a chave pública do usuário não raiz for adicionada aos servidores root / .ssh / authorized_keys, esse usuário não-root poderá efetuar login como root no servidor - então, para evitar isso, simplesmente não adicione sua chave ao arquivo roots_keys.
Você já encontrou o PermitRootLogin - que, obviamente, precisa ser ativado no servidor. Você pode (opcionalmente) limitar quem pode logar de onde (se é que é) adicionando uma linha como "AllowUsers [email protected] [email protected] user2" - que só permitirá root e user1 de um determinado endereço IP, mas user2 pode efetuar login de qualquer lugar. Você pode estender isso com quantas combinações de usuário / ip forem necessárias.