OBS Studio não funcionará sem o Xorg, pois ele fala diretamente com o X11 para realizar a gravação da tela. Já existe um bug aberto sobre a questão da gravação nas sessões do Wayland, no rastreador de bugs.
Você pode conseguir executar o aplicativo em Xwayland e forçar QT_QPA_PLATFORM=xcb
para o OBS STudio, mas não há garantias de que funcionará.