A resposta dada até agora é que temos que usar as "migalhas de pão", mas eu prefiro que a entrada always-use-location seja verdadeira. Também podemos usar a difícil combinação de teclas do alt-uparrow, mas é mais fácil apenas destacar e excluir a última pasta na barra de localização.
No entanto, acabei de descobrir a melhor maneira de brincar: a tecla Backspace.
Primeiro, pensei que o Backspace estava indo para a pasta anterior, mas depois percebi que o próximo botão de pasta não funcionaria depois do Backspace e acabou percebendo que era exatamente o que procurávamos porque o Backspace ia para a pasta pai. Backspace é a maneira mais rápida de excluir a última pasta listada na barra de localização (desde que você não tenha um cursor na barra de localização).
Se o cursor estiver na barra de localização, basta selecionar um arquivo para tirar o cursor da barra de localização e depois pressionar Backspace para chegar ao pai.