O menos de 1 GB de tamanho é preocupante, como se você estivesse se aproximando de um arquivo do excel de 1 GB. O Excel é notoriamente lento com arquivos grandes. Se você tiver muitas atualizações de fórmulas devido a links, isso irá atrapalhar.
O que você pode fazer é acessar file (button) - options
e ir para a seção formulas
e alterar o calculation options
para o manual. Agora ele só será atualizado quando você pressionar F9 para poder controlar quando fica lento.