No seu arquivo ~/.bashrc ou ~/.bash_profile , coloque isso no final do arquivo:
cd /path/to/your/destination
Salve o arquivo, efetue logout e faça login novamente, você deve estar em /path/to/your/destination .
Você também pode criar um alias em sua conta local, editar seu local ~/.bashrc e adicionar:
alias fastlogin='ssh servername -t "cd /path/to/your/destination; exec bash --login"'
Apresente seu arquivo para que as alterações entrem em vigor:
source ~/.bashrc
Agora teste-o digitando fastlogin no seu terminal.
Você precisa de bash no final para que a conexão não termine depois que cd seja executado e --login seja necessário para que ele origine seu ~/.bashrc & ~/.bash_profile arquivos.