1) $$ corresponderá ao último token do comando anterior. Por exemplo:
C:\PS> cd 'C:\Program Files'
C:\Program Files>$$
C:\Program Files
C:\Program Files>
2) <ctrl+backspace>
excluirá a palavra anterior se você estiver usando o PowerShell ISE, mas o console do Windows não suporta a exclusão de uma palavra anterior. Você pode executar o ISE com o painel de script oculto para que haja apenas um painel de comando e um painel de saída.
3) Para colocar uma nova linha em uma string use '' n '. Por exemplo:
PS D:\program files\wamp\www\play> p .\delete.php | Foreach-Object {$_ -replace "<br>", "'n"}
4) Não sei qual é a sua última pergunta. Você diz "mas não adiciona um". Há algo faltando entre o 'a' e o '.'? Estou assumindo que é um '\'. Se estiver, você pode adicionar uma barra invertida após a citação e continuar a concluir a guia. O PowerShell moverá a cotação na próxima vez que você clicar na guia. Por exemplo,
cd c:\pro<tab>
yields - > cd 'C:\Program Files'
então,
cd 'C:\Program Files'\mic<tab>
yields - > cd 'C:\Program Files\Microsoft'