Sua PSSession usará as credenciais do usuário atualmente conectado.
Se você estiver usando o Servidor de Acesso Remoto no 2012R2 ou similar (presumindo que o PowerShell 4 é o sabor do 2012R2) e conectado no logon, provavelmente suas credenciais de domínio estão sendo usadas para estabelecer a sessão.