Os pacotes são agrupados nos grupos, que podem ser instalados e removidos juntos. Correndo
dnf group list
deve informar os nomes dos grupos disponíveis e um deles deve ser algo como gnome-desktop-environment . A remoção deve fazer o trabalho:
dnf group remove gnome-desktop-environment