As configurações de aparência do Xfce 4 não tinham nenhuma guia Tema . Na verdade, ele só tem 4 guias que você mencionou na pergunta e não é uma falha.
Aqui está uma captura de tela do meu sistema para verificar isso, então não precisa se preocupar.
Se você está perguntando isso para que você possa mudar o tema rapidamente, você pode simplesmente tentar este caminho de linha de comando.
xfconf-query -c xsettings -p /Net/IconThemeName -s theme-name-here