Você pode usar um arquivo ~ / .ssh / config e colocar detalhes de configuração por host nele ~ / .ssh / config
Host serv1
hostname serv1.example.com
user serv1user
IdentityFile ~/.ssh/serv1user.key
Host serv2
hostname serv2.example.com
user root
IdentityFile ~/.ssh/rootserv2.key
Host serv3
user root
IdentityFile ~/.ssh/rootserv3.key
Agora você pode ssh serv1
etc e os detalhes relevantes serão retirados do arquivo de configuração.