Você pode usar o arquivo ~/.ssh/config
para isso.
Vou te dar um exemplo:
HOST <yourHost>
HostName <IP or DNS of the Host>
Port <port (just needed if other then the standard (22))>
User <username to connect>
IdentityFile <path to an private keyfile (optional) - you can use ~, also>
Se você tiver mais de um host, repita essas seções para cada host ...
para usá-lo, basta digitar ssh <yourHost>
.
Espero que isso ajude!