Isto não é sobre o XFCE ou o seu terminal; é sobre sua concha.
Suponho que seu shell de login seja /bin/bash . O Bash lê vários arquivos na inicialização, dependendo se é interativo, se é um shell de login e, provavelmente, algumas outras coisas. Veja o manual do bash para detalhes sangrentos.
Para iniciantes, verifique .bash_profile e .bashrc no seu diretório pessoal.
Observe que a alteração de /etc/profile afeta todos os usuários no sistema. Se você é o único usuário, provavelmente isso não importa, mas provavelmente é melhor fazer personalizações pessoais em seu próprio diretório pessoal.