Você pode usar:
#dnf group remove "KDE Plasma Workspaces"
Além disso, você pode fornecer uma lista de seus grupos:
#dnf grouplist hidden |grep -i kde
#dnf grouplist hidden |grep -i gnome
Em seguida, selecione um deles como argumento de group remove