tente remover a versão atual e reinstale a versão desejada:
yum remove gcc
yum install gcc-4.6.3
Observação: você pode manter a versão atual e a versão 4.6.3, se desejar, porque os binários para eles seriam diferentes: /usr/bin/gcc-4.8 e /usr/bin/gcc-4.6.3
se o yum não funcionou, você tem que usar make :
primeiro instale gcc-4.6.3.tar.gz do link
tar -xvf gcc-4.6.3.tar.gz
então
cd gcc-4.6.3/
./contrib/download_prerequisites
./configure --prefix=/usr/local/gcc/4.6.3
então
make
make install