Se você tiver acesso ssh, poderá copiar os arquivos, talvez com scp. Então, sim, é possível, mas isso é apenas uma opção.
Você também pode configurar um repositório yum com esses pacotes em sua máquina local e apontar o sistema remoto para esse repositório.
Você também pode baixar um arquivo .iso do CentOS.org e copiá-lo para o sistema remoto, montá-lo e usar seu diretório de arquivos de pacote para criar um repositório yum no sistema remoto. Acho que uma vantagem dessa variante é garantir que você tenha todas as dependências necessárias para o Gnome.