Sim, algo como
C:\cygwin\bin\bash -c "cd /cygdrive/c/Users/me/FolderWithBashScript" && script.sh arg1 arg2; read -p 'hit enter'"
Se você precisar de um shell interativo depois:
C:\cygwin\bin\bash -c "cd /cygdrive/c/Users/me/FolderWithBashScript" && script.sh arg1 arg2; bash --login -i"