Apenas meu pensamento, não tenho certeza se é a direção certa:
No Compiz Config, vá em "Opacidade, Brilho e Saturação" e tente adicionar uma configuração específica da janela. Existe uma ferramenta que permite "pegar" algumas informações sobre qualquer janela. Teste sua misteriosa janela de aplicativo com essa ferramenta e diga-nos se há algo especial.