Como @Panther menciona é executar o comando:
nano ~/.fluxbox/init
Em seguida, no arquivo, altere o seguinte (pesquise pressionando Ctrl + W ):
session.screen0.toolbar.tools: prevworkspace, workspacename, nextworkspace, clock, prevwindow, nextwindow, iconbar
session.screen0.toolbar.autoHide: false
session.screen0.toolbar.visible: false
Nota:
Como você viu a configuração session.screen0.toolbar.tools: , apenas remova a opção systemtray ;)