Você pode usar um arquivo ssh-config por usuário localizado em
~/.ssh/config
ou um sistema global em
/etc/ssh/ssh_config
que armazena as configurações básicas de cada conexão.
Exemplo:
Host example_host
User foo
HostName example.com
IdentityFile ~/.ssh/foo.key
Port 23421
Tendo isso em prática, chamando
ssh example_host
abrirá uma conexão ssh para example.com na porta 23421, usando o usuário foo e foo.key para autenticação.
Para uma explicação profunda, veja a man page do ssh:
man ssh
Não se esqueça de definir permissões adequadas no arquivo de configuração:
chmod 600 ~/.ssh/config