Você pode desinstalar o que quiser, mas não pode remover coisas e esperar que elas continuem funcionando. Você pode economizar alguns megabytes de espaço em disco removendo o software que não está em uso, mas também poderá causar sérios problemas se não souber o que está fazendo.
Se o objetivo é explorar um sistema Linux, então eu prefiro recomendar que você comece com um sistema básico e tente construir algo legal adicionando bits e partes à base. Dessa forma, você verá o efeito dos componentes em seu sistema. Se em vez disso você explorar, levando as coisas embora, você não saberá realmente o efeito que elas têm, porque você quebrará outros componentes que dependem delas.
O Ubuntu ainda é baseado no Gnome, que é uma plataforma bastante grande que consiste em muito mais do que você vê. O gerenciador de arquivos, o Nautilus, por exemplo, é parte disso. E as bibliotecas são compartilhadas entre aplicativos. Então, por exemplo, se você substituiu o Nautilus por algum outro aplicativo, você não seria capaz de remover todas as bibliotecas que o Nautilus usa, porque você ainda tem o Totem.