A maneira mais comum é ~/.ssh/authorized_keys , ele permite que os usuários gerenciem suas próprias chaves. A menos que você esteja planejando migrar para um sistema de autenticação diferente (por exemplo, LDAP) algum dia, essa deve ser a sua escolha.
Lembre-se de que cada pasta ~/.ssh/ precisa ser chmod'd para 700 e chown'd para o respectivo usuário.
A propósito, se você gerencia muitos usuários, dê uma olhada na documentação useradd no diretório /etc/skel . Você pode querer colocar um padrão .ssh/authorized_keys lá.