Existe um script powershell que é executado na inicialização do ps, se existir. O filespec para este script está na variável $ profile.
Você pode usar comandos do powershell para verificar se esse arquivo de script existe, para criá-lo se não existir e editá-lo com o bloco de notas. Aqui está o como guiar.