Você pode criar ~/.ssh/config
com uma entrada de configuração apropriada para seu host da seguinte forma:
Protocol 2
Host yourhost
User youruser
Hostname your.host.address
GSSAPIAuthentication no
Port 1234
Para mais opções, consulte man ssh_config