Para aqueles que tropeçaram neste post, meu problema acabou sendo alguma forma de falha com o Compiz.
Se o Compiz estava em execução, o desempenho foi bastante reduzido em aplicativos 3D, como jogos. Minha solução foi apenas mudar o gerenciador de janelas / ambiente de desktop. Eu descobri isso com a ajuda da TechZilla em um post separado aqui