Sim e não.
Linux é perfeitamente feliz de rodar mesmo sem um terminal de vídeo (considere configurações de console serial ou "headless").
OLinux está perfeitamente feliz em rodar no modo de 80x25 caracteres com 16 cores.
No entanto, seria um grande desperdício ter uma placa gráfica de última geração sem exibir nada além de exibir texto no que corresponde a uma tela 720x350 pixels resolução com pixels quase que apenas endereçáveis individualmente. Isso é um nível de tecnologia de 1984 .
X11 (geralmente implementado no XFree86 e atualmente mais comumente o Xorg) precisa de um driver para poder usar a placa gráfica para exibir gráficos. pode usar a VESA framebuffer suporta o kernel do Linux, ou pode usar um driver especializado que é capaz de fazer melhor uso da placa gráfica específica instalada. Como peterph aponta , o driver VESA é muito lento, mas funciona basicamente com qualquer coisa que pode produzir em um display gráfico e, portanto, é um bom substituto quando tudo o mais falha ou quando você não tem idéia de qual hardware você vai encontrar (como em um ambiente de instalação).
Isso significa que a pergunta que você deve estar perguntando é "eu preciso de um driver para a placa gráfica funcionar no modo gráfico do X11?". Para responder isso, sim, você faz, e o X11 vem com um conjunto decente de drivers que, especialmente em conjunto com o suporte framebuffer do kernel, permite que você use a funcionalidade básica da maioria das placas gráficas disponíveis atualmente. Você pode não conseguir usar todo o potencial da placa (por exemplo, aceleração 3D de hardware), mas, novamente, você pode. Isso depende dos recursos do driver específico que sua distribuição de escolha instala por padrão para esse cartão em particular no momento específico, e como isso pode variar muito entre distribuições e releases, a única maneira de respondermos seria se você fizer uma pergunta específica como "o Ubuntu 13.04 é capaz de usar todo o potencial da GTX760 ou eu preciso baixar um driver separado?" .
Isso é basicamente o que a resposta de Ignacio Vazquez-Abrams é sobre. É provável que o driver que é instalado pelo instalador da distribuição seja razoavelmente bem suportado por essa distribuição, mesmo que não possa suportar totalmente os recursos do hardware. Daí a sugestão para tentar primeiro, e se não funcionar do jeito que você quer, então você pode procurar por um driver alternativo.