Primeiro você precisa definir o que considera "quebrar meu sistema". Um sistema sem uma área de trabalho não está quebrado como está.
Além disso: a maneira mais segura é o que você fez e dar uma olhada nisso por "categoria" do Ubuntu Software Center e do grupo "instalado".
Accessories
Books & Magazines
Developer Tools
Education
Fonts
Games
Graphics
Internet
Medicine
Office
Science & Engineering
Sound & Video
Themes & Tweaks
Universal Access
Além de "acessórios", qualquer um desses itens deve ser seguro de remover e não removerá nada importante, pois todos eles apontam para aplicativos. Remova-os 1 por 1 e preste atenção à lista de pacotes que ele está oferecendo para excluir apenas por precaução.
E quando estiver em dúvida, verifique os pacotes on-line para saber o que está dependendo.
Mais um comentário: o que você fez foi provavelmente um exagero; Para recuperar esses ícones nas configurações do sistema, tudo o que você precisa fazer é reinstalar esses pacotes específicos. Isso deveria ter sido suficiente para corrigir isso:
sudo apt-get remove unity-control-center
sudo apt-get install unity-control-center