Ubuntu 17.10, por padrão, permite que os usuários façam login em um ambiente GNOME em uma sessão do Wayland. Aplicativos que não são compatíveis com o Wayland e são executados sob uma camada de compatibilidade do XWayland.
Mas aplicativos avançados, que dependem e / ou controlam o servidor X11 "demais" (captura de tela / gravação, etc.), podem não funcionar em uma sessão do Wayland.
Como uma solução alternativa, você pode tentar volte para uma sessão do Xorg .