A solução proposta por Eris inicia efetivamente outra instância do PowerShell. Uma maneira alternativa de fazer isso, com uma sintaxe mais simples, é desembolsar para outra instância do powershell.exe.
powershell.exe -NonInteractive -Command "Remove-Item 'D:\Temp\t'"