Acho que a única maneira é mudar o "conjunto de ícones", no XFCE está sob o
"Gerenciador de configurações" - > Aparência - > Ícones
(Ainda não sei como criar um novo conjunto de ícones personalizado, provavelmente respondido em outra pergunta ou site em algum lugar)
Ou talvez eu tenha perdido os ícones que você deseja alterar ... os botões minimizar - maximizar - fechar?
Eles podem ser encontrados com outros temas no
"Gerenciador de configurações" - > "Gerenciador de janelas" - > Estilo
Página de configurações (e você pode reorganizar e escolher os botões visíveis também).