Em geral, é seguro - normalmente eles foram instalados no início ou alguma instalação errônea na linha os sugou como dependências. Quando você fizer o yum remove não inclua um -y nele, e examine cuidadosamente a lista de pacotes para garantir que você não está apagando algo que obviamente deseja.
rpm -qa --queryformat='%{n}-%{v}-%{r}.%{arch}\n' | grep '\.i[3456]86$' | sort
Isso lhe dará uma lista de pacotes para examinar sem fazer nada.