Is there a way to change the screen rotation of a specific screen in GNOME?
Sim, a partir do Gnome 3.22 , antes dessa versão, o Gnome contava com suporte de driver para rotação, apenas os drivers intel suportam isso, iirc. Você pode tentar clicar duas vezes no visor no menu Configurações do monitor para acessar a configuração.
Você também pode tentar <Super>+MMB onde <super> é a tecla Windows / Linux no teclado e MMB é o botão do meio do mouse.
I tried xrandr -d XWAYLAND1 -o right, but that gives me Can't open display XWAYLAND1.
xrandr é para Xorg, não para Wayland.