Corrigido o problema.
Se você clicar duas vezes em Window Capture(Xcomposite) , a tela abaixo será exibida.
Nestapágina,sevocêrolarparabaixo,vocêteráaopçãoUsealpha-lesstextureformat(Mesaworkaround),vocêtemquemarcaressacaixa.
Resolvidousando
Tags obs-studio linux ubuntu-16.04