A sua GPU ainda tem algum suporte (no Ubuntu 12.04 e mais recente) da Nvidia como parte de seu conjunto de drivers herdados.
A versão 173 do driver da Nvidia está empacotada para o Ubuntu 12.04 e 14.04 - link que suporta sua GPU - link
Embora sejam drivers legados, eles receberão atualizações ocasionais de compatibilidade e correções de bugs - link .
Se você quiser suporte completo, você precisará de uma série 8 ou mais recente, que eu acho que nunca foram feitas com AGP (a menos que algumas versões OEM especiais).
Espero que alguém possa fornecer detalhes sobre as placas ATi GFX (que eu tenho apenas uma experiência limitada no Linux).