Não tenho certeza se essa solução funcionará para você, mas funcionou para mim. Eu tive o mesmo problema:
Eu fiz downgrade do meu driver nvidia para a versão 304.116 usando drivers adicionais (jockey-gtk). Então eu desinstalei o mesa-common-dev e poderia instalar o freeglut3-dev. Então eu atualizei meu driver nvidia novamente para a versão mais recente usando drivers adicionais.
AVISO: Eu não sei se isso pode quebrar alguma coisa na sua instalação - até onde eu sei, o suporte ao otimismo torna tudo um pouco frágil em relação aos gráficos ...