Parece que encontrei uma solução que funciona.
Nas configurações do nvidia x server, configurei os dois displays para "Separate X Screen". Eu reiniciei, e agora parece que o Xfce irá mudar a barra de tarefas e meus painéis entre o monitor externo e o monitor do laptop com base no que está conectado.
O problema com esta solução é que ela vê o LCD do laptop como um segundo monitor - então é possível que o ponteiro do mouse fique "perdido" quando realmente está apenas se escondendo no outro monitor. :)