No meu caso, ele funciona nos dois sentidos: através do cygwin.bat e invocando diretamente o ssh.exe do cmd.
Sugiro esta solução alternativa:
cd \cygwin\bin
ssh.exe -i ..\home\Adminstrator\id_rsa user@host
Se os caminhos e as coisas estiverem corretos, ele deve funcionar também.