Eu recomendaria usar yum localinstall
em vez de usar diretamente o comando rpm; Dessa forma, você terá o pacote gcc no banco de dados do yum para que ele possa acompanhar as atualizações. O comando seria apenas:
yum localinstall /mnt/cdrom/CentOS/gcc-(whatever).rpm