Você precisará usar o dirname para obter o diretório da coisa que você está procurando com o qual.
cd 'dirname \'which whatimlookingfor\''
Observe o uso de backtick em vez de citações ou outra coisa.
No Windows, onde você pode não ter acesso ao bash via cygwin ou MSys, você pode usar o powershell em vez do cmd.exe para realizar o mesmo.
A substituição no powershell é realizada via $( )
, para que seu comando seja parecido com isto:
cd $(dirname $(which whatimlookingfor))
Supondo que você tenha o binário dirname também disponível no caminho.