Execute cd do que estiver chamando de peixe. Por exemplo, em vez de urxvt -e fish , execute
urxvt -e sh -c 'cd /wherever/you/want; fish'
Faça o urxvt -e sh -c 'cd /wherever/you/want && fish' se você não quiser que o terminal abra se o diretório não existir.