Eu finalmente resolvi isso! O problema estava relacionado ao OpenGL, como eu suspeitava. Para resolver o problema, baixei o VirtualGL. Especificamente, peguei o arquivo .deb do aqui e instalei-o com o dpkg.
Executar meus aplicativos com vglrun application
e iniciar o screencast agora funciona perfeitamente, ele até funciona mais suavemente do que sem vgl.