Estas são as etapas:
- Clique com o botão direito no painel. Selecione Painel - > Preferências do painel .
- Vá para a guia Itens e selecione o item "Botões da janela".
- No lado direito, deve haver um botão para abrir as preferências de "Botões da janela", clique nele.
Eu não tenho Xfce na minha frente, mas a opção deve ser algo como "Mostrar título". Você só precisa desmarcá-lo (eu recomendo verificar a opção "flat buttons").