Se git-bash.exe for compatível com bash , será necessário:
git-bash.exe -c /c/Users/PetrKrysl/AppData/Local/Julia-1.0.1/bin/julia.exe
Omitir o -c faz com que o parâmetro do arquivo seja interpretado como um arquivo de texto contendo os comandos bash , e um arquivo binário não é permitido, como você observou.
O mesmo erro é gerado se você tentar executar um programa binário com o comando source ou . de um bash em execução.