Eu costumava usar muito o FB com SuSE, Slack e Gentoo em laptops, e tive um problema semelhante.
Eu adicionei video=vesafb:ywrap,mtrr:3
aos meus parâmetros de inicialização do kernel e acelerei bastante as coisas.
Mais no wiki do Gentoo: link