Você pode implementar o SSH Agent Forwarding . Ou se você estiver usando um jumphost para SSH Access, então, é melhor usar o iptables ou ufw nos outros servidores para permitir SOMENTE o acesso SSH ao IP específico (que é o endereço IP do jumphost).
CONFIGURAÇÃO DE IPTABLES:
iptables -I INPUT -p tcp -s YourIP --dport 22 -j ACCEPT
Instalação do UFW:
sudo apt-get install ufw
sudo ufw enable
sudo ufw allow from 15.15.15.51 to any port 22 ---- Change 15.15.15.51 to the jumphost IP Address
Além disso, nos outros servidores, edite a configuração sshd e proíbe o login raiz para implementar melhor a segurança. Algumas camadas do servidor não pedem senha automaticamente. Então você pode instalar o "ask-pass" para que os usuários possam usar suas senhas.
Uma última coisa: para gerenciar facilmente os usuários nessa configuração, certifique-se de criar um grupo e incluí-lo nos sudoers (sem senha) e, em seguida, reinicie o SSH. Este agrupamento deve ser implementado nos "outros servidores" e não no servidor jumphost