Tudo bem, estou digitando isso no meu laptop agora corrigido!
O problema foi, de fato, algo a ver com os pacotes de dependências do BRL-CAD. Então eu removi todos esses pacotes, assim como o xserver
sudo apt-get remove --purge libx11-dev
sudo apt-get remove --purge libxi-dev
sudo apt-get remove --purge libxt-dev
sudo apt-get remove --purge libxau-dev
sudo apt-get remove --purge libxext-dev
sudo apt-get remove --purge libxmu-dev
sudo apt-get remove --purge libxmu-headers
sudo apt-get remove --purge xserver-xorg
sudo apt-get remove --purge brlcad
sudo apt-get autoremove
Agora, precisamos reinstalar os pacotes necessários.
sudo apt-get install xserver-xorg
sudo apt-get install xinit
sudo apt-get install gnome-shell
sudo dpkg-reconfigure xserver-xorg
De lá, reiniciei o computador e fui recebido pela minha área de trabalho.