Eu finalmente encontrei a resposta para isso. Estou usando o Qt. Algumas das chamadas são do Qt para obter a janela e a tela do X11.
Display *dpy;
Window root = this->winId();
dpy = QX11Info::display();
XRRScreenResources *scrres = XRRGetScreenResources(dpy, root);
XRRCrtcInfo *crtcInfo = XRRGetCrtcInfo(dpy, scrres, *scrres->crtcs);
crtcInfo->rotation can be 1, 2, 4, or 8
Espero que isso ajude alguém no futuro.