Se você especificar um comando remoto, a conexão ssh será fechada assim que o comando remoto sair. Um comando cd
sairá quase imediatamente.
Uma maneira comum de fazer o que você quer é:
RemoteCommand cd /some/path && bash
(Substitua seu shell desejado no lugar de "bash"). Este cd é para o caminho e depois invoca uma subshell se a operação de cd for bem sucedida. A conexão ssh irá fechar quando a sub-ssh sair.
Você também desejará forçar o ssh a alocar um PTY para a sessão:
RequestTTY yes
Se você não fizer isso, o ssh não solicitará um por padrão e você receberá uma sessão de shell não interativa. Notavelmente, você não receberá um prompt de comando.