Como mencionado nos comentários anteriores, este não é um arquivo enorme.
A causa mais provável é links em fórmulas para outras planilhas que não estão abertas ou não estão disponíveis. O Excel tentará por muito tempo resolver as conexões de rede para obter os dados de uma fonte externa.
Verifique também se não há macros em execução na inicialização que estejam tentando estabelecer uma conexão com uma fonte externa