A seleção aleatória de outros pacotes é provavelmente devido à resolução de dependência. Sem saber exatamente o que está sendo selecionado, é difícil dizer.
Eu também tenho uma frustração com yum erase <package>
/ yum groupremove <group>
querendo remover pacotes que eu acho que devem permanecer instalados. Eu não sei como te ajudar lá, mas espero que alguém entre em sintonia.
"Também estou usando o modo de instalação gráfica. Idealmente, eu seria capaz de criar uma configuração do kickstart a partir de uma boa instalação."
Eu tentaria executar system-config-kickstart
e ver se você consegue um bom arquivo para iniciar a partir daqui. Se não, basta instalar o sistema operacional com os grupos Base, X Window System e Gnome Desktop e, em seguida, ver o que você precisa instalar usando o yum. A partir daí, edite seu arquivo Kickstart e teste-o até que esteja satisfeito.