Supondo que você esteja em um ambiente Unix / Linux, você pode criar ou editar o arquivo ~/.ssh/config
.
Esse arquivo de configuração permite estabelecer os parâmetros a serem usados para cada host; então, por exemplo:
Host host1
HostName <hostname_or_ip>
IdentityFile ~/.ssh/identity_file1
Host Host2
HostName <hostname_or_ip2>
User differentusername
IdentityFile ~/.ssh/identity_file2
Observe que host1 e host2 também podem não ser nomes de host, mas rótulos para identificar um servidor.
Agora você pode fazer login nos hosts para:
ssh host1
ssh host2