Há várias coisas diferentes se juntando para criar uma aparência específica de uma determinada janela. Há o Window Decorator, que, dependendo da configuração, pode ser diferente (por exemplo, Emerald ou gnome-window-decorator etc.). Há também coisas como o tema gtk, que define coisas como o esquema de cores e ícones. Eu não sei se há ou não uma maneira de ter decoradores de janelas diferentes para programas diferentes, embora você possa desativá-lo para determinadas janelas (usando o plug-in Window Decoration do Compiz). Você certamente pode usar diferentes temas gtk para diferentes aplicações. Veja aqui.