O Firefox é naturalmente intensivo de memória e demonstra um pouco de sintoma com vazamento na maioria das vezes. Eu tive uma compilação beta (4.0) parece estabilizar em torno de 400MB, mas FF 3.6 vai crescer para dobrar isso facilmente. Esse é provavelmente o problema, não o Firebug.
Embora possa ser o console do Firebug (se estiver aberto), a guia net (se estiver persistindo) ou qualquer outra coisa. Eu tentaria medir o consumo de memória com o Firebug em (durante um período de um dia) e desligado (durante o mesmo período).