Use apenas as chaves SSH e verifique se as senhas dos usuários são suas chaves privadas. Você adiciona suas chaves públicas a ~/.ssh/authorized_keys
nos servidores remotos. O que acontece é que o usuário é solicitado a fornecer a senha para a chave e, em seguida, a chave é usada para fazer logon no servidor. Eu faço isso com todos os meus servidores, então desabilite os logins de senha ssh.
Isso funciona para clientes Linux e Windows (PuTTY).
Tente aqui para mais detalhes: link