Eu uso alguns scripts na localização $psProfilePath para fazer coisas semelhantes, como importar algumas funções, em consoles Powershell locais. Eu acho que você deve ser capaz de usar isso para uma sessão remota também.
Para hosts regulares do Powershell:
$psProfilePath\Microsoft.PowerShell_profile.ps1
Para hosts do ISE Powershell:
$psProfilePath\Microsoft.PowerShellISE_profile.ps1