Isso pode ser encontrado no objeto de erro. $Error é uma matriz de erros e [0] é o mais recente. Isso é realmente um objeto que pode ser interrogado ...
($Error[0]).InvocationInfo.Line
Fornecerá a linha completa no script que gerou o erro. A propriedade InvocationInfo não existirá para erros na linha de comando.
Outras boas propriedades que você pode obter são PSScriptRoot , que fornece o caminho para o arquivo de script, ScriptName , que fornece o nome do arquivo, e ScriptLineNumber , que fornece a linha do script que falhou.