Isso cheira a mim como um problema ambiental. Por que você não pode instalar o cliente corretamente no sistema remoto?
Existe alguma maneira de você despejar seu ambiente do script powershell antes de invocar o SQL * Plus? Se sim, compare isso com o seu ambiente quando você estiver logado e ele funcionar. Talvez algo assim:
Invoke-Command -comp remote.machine.host -ScriptBlock { $env:ORACLE_HOME= "C:\temp\oracle"; $env:PATH = "$env:ORACLE_HOME"; set > c:\temp\oracle\set.txt }
Observação: parece que há uma aspa dupla faltando na sua declaração PATH adicionada. Suponho que seja um erro de transcrição.