faça um ssh -vv
e veja quais arquivos de identidade são usados. Aposto que os problemas estão conectados aos arquivos de identidade localizados em C:\Users\user\.ssh\
e home\user\.ssh\
do cygwin. Copie de um para outro para que funcione.