Os pacotes são agrupados nos grupos, que podem ser instalados e removidos juntos. Correndo
dnf group list
deve informar os nomes dos grupos disponíveis e um deles deve ser algo como gnome-desktop-environment
. A remoção deve fazer o trabalho:
dnf group remove gnome-desktop-environment