Soa como dois problemas separados. Primeiro, o Firefox é conhecido por ser um porco da memória. Existem maneiras de manter isso no mínimo, incluindo se livrar de addons que você não precisa, assim como:
Em sobre: config , adicione um novo valor booleano chamado config.trim_on_minimize e defina-o como True . Ainda estou avaliando isso e ainda não posso dizer com certeza se isso ajuda.
Em segundo lugar, se o processo do Firefox não parar quando você fechar a janela, tente esperar um pouco. Eu acho que uma vez que o Firefox esteja usando uma tonelada de memória, pode levar algum tempo (até 30 segundos) para que ele seja completamente fechado.