Eu não editei os arquivos /etc/sysconfig/network
e /etc/hosts
porque esses já continham o nome do host que eu queria (localhost.localdomain), então apenas pelo comando hostname localhost.localdomain
ele não permaneceu salvo após a reinicialização.
Mas então meu host editou esses dois arquivos para um nome de host diferente, reinicializou o servidor (sem qualquer outro comando, apenas editando) e o novo nome de host foi aplicado e permaneceu alterado. Então eu editei os arquivos novamente e os configurei para localhost.localdomain como eles estão em algum outro do meu VPS e agora eles atualizaram e permaneceram para o localhost como eu queria.