Isso rapidamente se tornaria uma bagunça se isso não fosse possível.
Se você remover um pacote e outros pacotes dependerem dele, o sistema removerá os se você concordar com ele . A exclusão de uma biblioteca que esteja sendo usada pelo Unity removerá o Unity BUT, desde que você não remova o apt-get em si. Você sempre poderá reinstalá-lo com apt-get
.
Existe um pacote extra chamado deporphan
que varre o sistema para libs que não estão mais em uso por nenhum pacote e que irá removê-lo quando você concordar com ele. Eu usei em vários lançamentos do Ubuntu e funciona como um encanto.
O tweak do Ubuntu pode ser útil para você. É uma espécie de centro de comando em torno de aplicativos.