Você precisa instalar pacotes contendo ferramentas de desenvolvimento necessárias para compilação. Você pode instalá-los um por um:
yum install gcc
yum install make
...
yum install glibc-devel
Ou você pode instalar em um comando muitos deles:
yum groupinstall "Development Tools"