Estou tendo o mesmo problema. Eu tenho 1GB VRAM e unidade consome geralmente em torno de 850MB - isso faz com que a maioria dos jogos não seja capaz de rodar e, se o fizer, eles são instáveis como ***.
Embora não seja uma solução, encontrei uma pequena "solução" para permitir alguns jogos básicos:
Pouco antes de executar o jogo / programa eu pulo para o terminal somente texto com Ctrl + Alt + F1 e, em seguida, pulo imediatamente para unidade com Ctrl + Alt + F7 . Isso parece liberar bastante VRAM e permite que os jogos sejam executados sem problemas. No entanto, eu não tive uma sessão de jogos por mais de uma hora, então não posso comentar se o desempenho não diminui ao longo do tempo.
Edit: esqueci de adicionar - Estou executando o Ubuntu 14.04 e um driver Cuda-developer 340.