É porque o servidor Win32-OpenSSH define a variável de ambiente PROMPT
para
<ssh-username>@%COMPUTERNAME% $P$G
É codificado e não é configurável.
Embora você possa reverter isso especificando um comando remoto personalizado como:
set PROMPT=$P$G & cmd.exe
Por exemplo, no PuTTY, você pode fazer isso indo em Conexão > SSH > Comando Remoto .