Eu acho que seu atraso não é navegador-recebendo-arquivo-de-localhost-server , é navegador-interpretação-2.4mb-of-javascript . Isso é um monte de código para analisar, e vai levar mais tempo do que simplesmente ler o arquivo no disco. Eu esperaria que o navegador não armazenasse em cache uma versão compilada do arquivo, portanto, mesmo puxar uma versão em cache exigiria uma nova análise do script.
Sua melhor aposta é otimizar o arquivo .js e remover todas as funções que você não usa de fato (ou que não são exigidas pelas funções que você usa).