Se ele está disponível para o Ubuntu 11.10 E é uma biblioteca somente de cabeçalho, então você pode simplesmente baixar e instalar manualmente o pacote com
cd /tmp
wget http://launchpadlibrarian.net/72511308/libglm-dev_0.9.2.0-2_all.deb
dpkg -i libglm-dev_0.9.2.0-2_all.deb