Parabéns, você acabou de inventar o Kerberos :) O Kerberos funciona com um sistema de tickets onde um cliente solicita um ticket de concessão de ticket (TGT) do Kerberos Key Distribution Center usando um nome de usuário e senha. O cliente pode usar esse ticket para solicitar tíquetes de serviço adicionais que podem ser usados para efetuar logon nos servidores SSH.
Toda a administração é feita centralmente no Kerberos KDC e, em conjunto com o LDAP, você pode controlar qual pessoa pode acessar quais servidores.