Supondo que você já tenha o pacote instalado, rpm -q --whatprovides /usr/lib64/libglut.so.3
mostrará o nome do pacote que fornece o arquivo.
(Não aplicável como você não deseja usar o yum): se ainda não estiver instalado, yum provides /usr/lib64/libglut.so.3
ou simplesmente yum provides 'libglut*'
pesquisarão os repositórios do yum e fornecerão as informações.