A autenticação de chave pública é tipicamente por usuário. Cada usuário deve ter um arquivo /home/*/.ssh/authorized_keys diferente, que concede acesso apenas a esse usuário.
Os usuários que não possuem esse arquivo só podem fazer login usando sua senha.
Disse que, uma vez logado como root, você pode executar "su anotheruser" para agir em nome daquele usuário. Apenas o root pode fazer isso, é claro.
Como alternativa, você pode configurar a confiança de chave em todo o sistema se tiver dois servidores com os mesmos usuários. Isso é feito com o arquivo /etc/hosts.equiv
E outro truque é ter todos os usuários em um servidor com a mesma versão do arquivo "authorized_keys", para que você possa fazer login como qualquer usuário com a mesma chave privada.