Eu acho que isso é um problema interno do compiz - não necessariamente um de aliasing. O buffer de janela é enviado para essa pequena visualização de janela e reduzido, dando uma sensação crocante. Talvez você deva relatar um bug lidando com esse plugin.