Ah, meu mau ... Depois de ler os comentários sobre a minha pergunta, eu testei com o Notepad e isso parece funcionar.
Portanto, no meu caso, é apenas o PowerShell que parece ignorar o parâmetro "Start In". Eu pensei que poderia ter sido o meu perfil do PowerShell de alguma forma alterando o diretório de início e eu desativei todo o perfil, mas nenhum charuto. Mas eu acho que isso seria uma questão diferente então.
Assim, a resposta real para a pergunta é:
Right-click the shortcut in the Start Menu, choose Open File Location, and change the properties on the shortcut file.