A gravação dos dados de tráfego da rede leva algum tempo, o que resulta em uma lentidão no carregamento da página. Embora normalmente essa desaceleração não seja tão grande assim.
Observe que os 20 ms que você mediu referem-se apenas ao tempo necessário para gerar o script da página. Não leva em consideração todas as outras solicitações envolvidas no carregamento da página, por exemplo, CSS, JavaScripts, imagens, etc.
Sugiro que você compare a saída do painel Net do Firebug com a do Firefox Painel Rede do DevTools. Se eles diferirem muito, desative o painel Console e Script e verifique se isso faz alguma diferença. Se não, você pode arquivar um bug contra o Firebug .