Muito possivelmente, um dos aplicativos (talvez Firefox ou Flash) vaze gradualmente a memória. Eu tenho um problema muito semelhante com longas sessões do Opera. Descobri que a melhor maneira de lidar com isso é reboot
com freqüência suficiente (basicamente, sempre que o sistema inicia a troca).