Descobri que os drivers ATI proprietários induziram mais atraso no meu laptop do que os drivers de código aberto. Eles também estavam travando o Xorg de vez em quando - eu não tenho ideia do porquê.
Se você não vai jogar jogos 3D que exijam aceleração gráfica, então eu não acho que você deva se preocupar em instalar drivers proprietários. No entanto, depende de você e do seu hardware, por isso acho que ninguém aqui pode dar um conselho 100% correto sobre o que é melhor. Experimente você mesmo e veja qual atende às suas necessidades.