Não, não deve quebrar o Ubuntu. E se você quiser remover alguns dos desktops xfce, gnome, kde, isso pode lhe interessar: Como remover completamente o desktop? .
Eu planejo instalar o Ubuntu 11.10 de 64 bits e depois instalar os desktops Xfce, Gnome e KDE da USC.
Isso quebrará meu sistema?
Não, não deve quebrar o Ubuntu. E se você quiser remover alguns dos desktops xfce, gnome, kde, isso pode lhe interessar: Como remover completamente o desktop? .