Supondo que você já tenha o pacote instalado, rpm -q --whatprovides /usr/lib64/libglut.so.3 mostrará o nome do pacote que fornece o arquivo.
(Não aplicável como você não deseja usar o yum): se ainda não estiver instalado, yum provides /usr/lib64/libglut.so.3 ou simplesmente yum provides 'libglut*' pesquisarão os repositórios do yum e fornecerão as informações.