Solução fácil
Ironicamente, é provavelmente o Firebug que está atrasando muito o Google Maps para você. Para aumentar o desempenho, a coisa mais fácil seria desabilitar o Firebug quando você não está fazendo o desenvolvimento.
Melhor solução
Infelizmente, muitas vezes, desativar essa ferramenta útil não é uma solução aceitável. Felizmente, são apenas alguns componentes do Firebug que desempenham o maior papel em retardar as coisas. Os maiores ganhos de desempenho vêm da desativação das guias "console" e / ou "net", clicando-as e desmarcando-as, ou passando pela guia de opções. O impacto no desempenho do Firebug é mais perceptível no Google Maps devido à grande quantidade de solicitações que ele faz e à estrutura complexa do DOM.
Plano de backup
Se isso não ajudar, você pode tentar atualizar o Firefox e o Firebug e esperar que eles tenham melhorado o desempenho nas versões recentes. A versão mais recente a partir de quando eu estou escrevendo isso é Firebug 1.10.0a7 para o Firefox 12, e na minha máquina parece ter um desempenho razoavelmente bom mesmo com net e console habilitados.