Cache pode ser um motivo. Existe a possibilidade de que a página que você está carregando tenha sido aberta anteriormente no Firefox e tenha alguns dos seus ativos já armazenados em cache no Firefox, então o Firefox usa essa cópia e não precisa esperar pela resposta do servidor.
Limpe o cache de ambos os navegadores e verifique novamente.
Outro motivo para o chrome mais lento pode ser um grande número de Extensões ou Complementos em Execução no Plano de Fundo e alguns deles podem estar Comendo a Largura de Banda ou pelo menos o recursos da CPU e fazendo o carregamento lento.
Tente desativar as extensões .