Também como postagem original em SO
Você pode atualizar seu sshd_config
e adicionar a AuthorizedKeysFile
também, por exemplo, algum caminho em /etc/ssh/authorized_keys
onde você pode colocar sua chave mestra. Isso autorizaria você com essa chave para todas as contas. Mas não se esqueça de sair também do original:
[...]
AuthorizedKeysFile .ssh/authorized_keys /etc/ssh/authorized_keys
[...]
Ou você pode usar certificados conforme descrito na página de manual ssh-keygen
. Isso permitiria que você auditasse o acesso com essas chaves.