Isso costumava ser um problema comum, mas é bastante raro na minha experiência agora.
É quase certamente causado por um ou mais plugins. Tente executar sem plugins por um tempo, se puder.
Você também pode descobrir que o Firefox, por ter os piores problemas tradicionalmente, agora é um dos melhores em manter a memória sob controle. Em particular, ele descarrega as guias não utilizadas da memória e, se você reiniciar o navegador, as guias estarão lá, mas não carregadas.
Eu também ocasionalmente me vejo matando um navegador do gerenciador de tarefas. Todos eles têm gerenciadores de sessão agora para que você possa reiniciar o navegador com as mesmas guias. Não feche o navegador normalmente, pois muitos dos gerentes de sessão pensarão que você fechou todas as guias e não se lembrará delas.