Se você tiver um binário do fluxbox vinculado à biblioteca XFT , poderá usar o anti-alias fontes no fluxbox.
Menus e cantos : os cantos só parecem irregulares quando você usa um estilo que usa "cantos arredondados". O recurso de cantos arredondados é obtido usando a extensão de forma de X11 e que é uma máscara de bitmap, não há como atenuar isso. Use cantos semelhantes a retângulos e eles não são mais irregulares. Eu não sei o que você quer dizer com "menus estão parecendo irregulares".
Os recursos oficiais na ajuda do fluxbox são:
Você deve encontrar informações sobre como personalizar o fluxbox de uma forma que o leve a algo que você possa achar melhor, seja lá o que for em "termos objetivos".