Então mudá-lo para xfce realmente funcionou. Não sei porquê.
Em vez de
echo "task-lxde-desktop iceweasel xchat" >> config/package-lists/my.list.chroot
faça
echo "task-xfce-desktop iceweasel xchat" >> config/package-lists/my.list.chroot
Ou apenas edite config/package-lists/my.list.chroot
.