Sim, embora o Jupyter tenha sido originalmente projetado para python, ele suporta R entre várias outras linguagens de programação.
Para que uma linguagem de programação seja compilada corretamente no notebook, o kernel correspondente deve ser instalado. Você encontrará o R-Kernel sob o nome "IRkernel" com instruções de instalação no github.
Uma vez que você instalou o kernel, você deve ser capaz de selecioná-lo em um menu suspenso no notebook.
Se você quiser iniciar uma interface com o kernel R, use o parâmetro --kernel= :
# “ir” is the kernel name installed by the above 'IRkernel::installspec()'
# change if you used a different name!
jupyter qtconsole --kernel=ir
jupyter console --kernel=ir