Eu consegui!
É assim que o seu autostart.sh
em ~/.config/openbox/
deve ser:
gnome-session &
xcompmgr &
nautilus --no-default-window &
docky --nvidia
gnome-session
é para carregar todos os temas, ícones e libs do gnome.
xcompmgr
é para os efeitos de transparência, tente sudo apt-get install xcompmgr
para obtê-lo.
Então eu começo o nautilus para substituir o botão direito do OpenBox na área de trabalho e docky, no meu caso com suporte a nvidia.