Você pode fazer isso em todo o sistema alterando o valor Icon na entrada .desktop correspondente para xterm . Esses tipos de entradas geralmente estão localizados em /usr/share/applications . Procure a entrada com o nome xterm.desktop e defina o valor Icon para um arquivo de imagem localizado em algum lugar em /usr/share/icons , ou seja, Icon=my_xterm_icon.png . Você pode querer verificar se já existem alguns ícones que você deseja usar:
$ find /usr/share/icons -iname "*xterm*" -print
Aplique isso a todas as entradas para que todos os aplicativos X11 usem o mesmo ícone.