Apenas reinstale os ícones do Xubuntu dos repositórios e isso recuperará seus ícones.
sudo apt-get install --reinstall xubuntu-icon-theme
Descobri isso consultando cada uma das pastas de ícones com dpkg -S
; por exemplo:
dpkg -S /usr/share/icons/elementary-xfce
que retornou o nome do pacote de onde eles vieram:
xubuntu-icon-theme: /usr/share/icons/elementary-xfce
Se você tiver outros problemas relacionados às configurações, purgar o xfce4-indicator-plugin
e reinstalá-lo com
sudo apt-get install --reinstall xfce4-indicator-plugin
Se você tiver também removido o indicador do painel do Xfce, adicione-o novamente clicando com o botão direito do mouse no painel e clicando no painel > adicionar novos itens (veja screenshot). Importante, você provavelmente terá que fazer logout e login para que as alterações entrem em vigor após a reinstalação dos ícones.