Parece que as configurações do XFCE e nvidia (ou a configuração padrão do xorg) tentaram aplicar as configurações aqui.
As configurações do XFCE estão erradas.
Depois de alguma depuração referente a outro problema ( Por que o XFCE ignora minhas preferências? ) Descobri que tenho que excluir .config/xfce4/xfconf/xfce-perchannel-xml/displays.xml para resolver esse problema - mas isso também resolveu o problema de aplicar as configurações corretas da tela após o login.