Confira: link
Basicamente, você pode criar um arquivo 'perfil' chamado Microsoft.PowerShell_profile.ps1, que será executado toda vez que você iniciar o PowerShell.
Dependendo de quem você quer que ele seja executado, existem várias pastas nas quais você pode colocar este arquivo (explicado no link acima). Se for apenas para você, você pode criar uma pasta chamada WindowsPowerShell na pasta Meus documentos e colocá-la lá.
Se você colocar essa função nesse arquivo:
function prompt
{
"PS " + $(get-location) + "> "
}
Isso fará com que seu prompt seja assim:
PS C:\directory\path\here>
Há muitas outras coisas que você pode colocar nele, mas isso é o básico.
OBSERVAÇÃO: antes de poder usar o script de perfil, você precisará executar "set-executionpolicy remotesigned" no powershell - isso permitirá que você execute scripts não assinados escritos localmente no computador e scripts assinados de outras pessoas.