O menos de 1 GB de tamanho é preocupante, como se você estivesse se aproximando de um arquivo do excel de 1 GB. O Excel é notoriamente lento com arquivos grandes. Se você tiver muitas atualizações de fórmulas devido a links, isso irá atrapalhar.
O que você pode fazer é acessar file (button) - options e ir para a seção formulas e alterar o calculation options para o manual. Agora ele só será atualizado quando você pressionar F9 para poder controlar quando fica lento.