Ok, então acho que descobri isso, embora meu problema não esteja resolvido, como não pode ser.
Da minha pesquisa e graças ao link eu aprendi que não há build do OpenSSH for Windows com suporte a ProxyCommand (pelo menos eu não consegui encontrar um, e em seu site é essa informação).
A razão pela qual recebi:
/bin/sh: No such file or directory
write: Broken pipe
Foi por causa da construção ruim do OpenSSH. Eu baixei de
link
E de acordo com os comentários lá, esta compilação está quebrada! Por favor não use! Depois que eu desinstalei este OpenSSH e instalei um oficial do site (ou de funções opcionais do Windows 10) eu recebi o erro correto:
Proxy connect is not supported in Windows yet