Especifique seu shell depois para que seja executado. Você também precisa do sinalizador -t para uma experiência de shell adequada. Então você acaba com algo como:
ssh ... -t user@host 'cd /path/to/dir; /bin/bash'
Como Terdon sugere nos comentários, se você tem uma grande pilha de comandos que você quer rodar a cada tempo que você se conecta a este servidor como este usuário , você provavelmente deseja editar seu .profile ou .bashrc para executar os comandos automaticamente.