Aha, eu mesmo encontrei a resposta.
No PowerShell, os scripts a serem executados precisam ser continuados por ". \"
Então, "PS > script.py" não funciona, mas "PS >. \ script.py" faz.
Além disso, usar essa sintaxe adicionando ".py" ao PATHEXT funciona bem no PowerShell.