Por que vale a pena, eu acabei de instalar o Xfce em um sistema Ubuntu 14.04 (significava fazer isso - eu odeio Unity3D Desktop), e parece muito bem. Portanto, parece que você tem um problema com o seu hardware, e eu recomendo que você entre em contato com o pessoal de suporte do BeagleBone Black.