Você alterou o shell no seu perfil de usuário, mas como já estava logado, suas variáveis de ambiente já haviam sido definidas e o xfce4-terminal estava supondo que você usaria o que foi definido como shell quando o ambiente foi iniciado. Se você tivesse desconectado de tudo na máquina ou autenticado de outra forma como efetuar login com o SSH, ele também teria funcionado.
Muitos programas de terminal têm suas próprias preferências para o shell que será lançado neles. Essas preferências podem usar qualquer programa que você tenha permissão para executar como o shell, incluindo quaisquer shells autorizados pelo sistema. Quando você se autenticar contra o sistema, a primeira coisa que ele lhe dará é sempre o shell em seu perfil, mas depois disso você estará livre para executar qualquer coisa.