% 1 é expandido pelo shell do Windows para o nome da pasta em que você clicou com o botão direito do mouse.
Então, se o comando que você quer executar é:
"C:\Program Files\R\R-2.15.1\bin\x64\R.exe" -e "shiny::runApp('%1/shiny')"
você pode substituí-lo por uma chamada para cmd.exe que permanece aberta após a execução e preserva as aspas duplas (dobrando-as dentro de um par extra de aspas duplas), para que você possa verificar a saída do comando r.exe:
cmd /k " ""C:\Program Files\R\R-2.15.1\bin\x64\R.exe"" -e ""shiny::runApp('%1/shiny')"" "
Eu não tenho experiência com R, mas meu palpite é que o comando runApp lida mal com as barras invertidas no caminho do Windows, ou que ele contém um espaço, e eu também acho que "~" funciona com o diretório atual, O Windows não tem um diretório real $ HOME.
A solução para isso é encadear um comando de CD e a chamada R.exe via cmd.exe:
cmd /c " cd /d ""%~1"" & ""C:\Program Files\R\R-2.15.1\bin\x64\R.exe"" -e ""shiny::runApp('~/shiny')"" "
(cmd / c fecha a nova janela, cmd / k a mantém aberta após a execução, então o último exemplo fecha a janela após o lançamento de R.exe).