Não use open para iniciar aplicativos de linha de comando. Ele deve ser usado para executar aplicativos do OS X envolvidos em pacotes de aplicativos. O Launch Services não reconhece seu programa como um aplicativo, apenas tente executar open -a VisiMacXsltConverter ...
Basta especificar seu caminho absoluto ou relativo para que não seja pesquisado em $PATH . Qualquer um dos seguintes itens funcionará, é claro, dependendo do seu diretório de trabalho atual e onde o programa está armazenado:
./VisiMacXsltConverter a "b c"
/Users/rohan/Documents/VisiMacXsltConverter/VisiMacXsltConverter a "b c"