Eu não acho que seja possível, mas você pode configurar o script de inicialização do seu shell no servidor. Se você usar o bash no servidor, você pode adicionar essa linha ao final de ~/.bashrc
no servidor:
cd /my/initial/dir
Outra opção é criar um pequeno script no seu cliente para iniciar as conexões SSH, que executará um comando remoto após o login:
#!/bin/sh
# This is the file "/home/myuser/bin/myssh":
ssh $1 "cd /my/initial/dir"
Execute assim:
# myssh mybusiness