O mesmo problema aconteceu comigo hoje, o powershell faria uma pausa por cerca de 5 segundos na inicialização. Acabou que foi culpa da PSReadline. O histórico de comandos era muito grande (cerca de 600MB no meu caso) e limpando isso resolveu o problema.
Você pode encontrar o arquivo de histórico aqui:
C:\Users\{user}\AppData\Roaming\Microsoft\Windows\PowerShell\PSReadline
Editar
A contagem máxima do histórico pode ser definida da seguinte forma:
Set-PSReadlineOption -MaximumHistoryCount 1024