Acontece que foi porque eu estava usando o PowerShell ISE.
Há uma diferença no modo como o PowerShell e Entrada do console de controle do PowerShell ISE . Se você quiser que as quebras de controle funcionem da maneira que fazem no prompt de comando, você precisará usar o comando baunilha PS.