Você provavelmente pode adicionar apenas cd /path/to/directory
ao seu .bashrc
.
Como alternativa, se você for o administrador do servidor, talvez queira alterar seu diretório pessoal para apontar para lá.
Edit: como @smintz diz que esta provavelmente não é uma boa idéia se você não possui o diretório. Eu já vi isso feito, então eu pensei em apontar.