Você pode encontrar todos os pacotes rpms que acompanham a distribuição do CentOS em link e apenas navegue para o seu release específico (por exemplo, 6.4).
Mas o que você está tentando fazer é um pouco mais complexo que apenas baixar um único rpm. rpms têm dependecies e especialmente em groupinstall "X Window System" "GNOME Desktop Environment"
você vai precisar de dezenas de rpms.
O que você pode fazer é usar o DVD do CentOS que já contém todos os rpms e direcionar o yum para usar o DVD como repositório. Então faça algo assim:
Crie um arquivo /etc/yum.repos.d/CentOS-DVD.repo
as
[c6-dvd]
name=CentOS-$releasever - Media
baseurl=file:///media/CentOS/
file:///media/cdrom/
gpgcheck=1
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
e depois yum --disablerepo=\* --enablerepo=c6-dvd install whatever
Apenas certifique-se de adicionar o ponto de montagem correto para o seu DVD no arquivo acima.
obviamente você não obterá atualizações para seus pacotes instalados, mas sem uma conexão com a Internet que seja um pouco complexa