Isso cuida do problema. Eu configurei esse script para ser executado no menu Whisker em vez de apenas no Gerenciador de Tarefas. Ele inicia o Gerenciador de Tarefas e registra seu PID. A cada cinco segundos, verifica se a janela do Gerenciador de Tarefas ainda está aberta. Se estiver fechado, mata o programa e sai do script.
#!/bin/bash
xfce4-taskmanager & taskmgr_pid=$!
while true; do
sleep 5
status=$(wmctrl -l | grep "Task Manager")
if [ -z "$status" ]; then
kill "$taskmgr_pid"
exit
fi
done