Consegui praticamente corrigir meu problema. Eu fiz edições no arquivo rxvt-unicode.desktop alterando o ícone para um de minha escolha. Nesse ponto, pude ver o novo ícone ao carregar o rxvt-unicode a partir do launcher de unidade ou da barra lateral. Informações sobre como encontrar os arquivos .desktop podem ser encontradas aqui: Como posso encontrar arquivos * .desktop
Uma coisa que notei é que, se eu usar outro terminal para iniciar o rxvt-unicode, ele ainda mostrará o ícone antigo. Não tenho certeza ainda porque isso está acontecendo. Isso só se tornou um problema porque eu criei um atalho de teclado para fazer o Super+q lançar um terminal e ele faz isso através do terminal, tanto quanto eu posso dizer.