Os dois caracteres " estão cancelando um ao outro no começo, acredito, porque as aspas são incorretamente escapadas. Não sei por que eles têm \" (que é interpretado como um caractere escape \ com um " sem escape depois disso, e não um caractere " com escape) em vez de \" , que é a maneira correta para escapar da citação, mas essa provavelmente é a causa desse problema.
Tente usar isso, pode funcionar:
sudo su - -c "R -e \"install.packages('shiny', repos='http://cran.rstudio.com/')\""
Eu fiz alguns olhando para isso. As instruções que foram inicialmente fornecidas para isso no repositório do GitHub para o software foram marcadas como "obsoletas".
Estas são as instruções de instalação a que agora se referem . Se você está se deparando com este problema, você não deve estar usando a documentação no repositório do GitHub, e deve estar usando as novas instruções.