Sim, remova todas as fórmulas (copie / cole valores) se for necessário. Reduza o número de COLUNAS com as quais você está lidando, especialmente se você tiver acesso à DIREITA (acredito que o Excel aloque cada linha e, quando isso acontecer, aloque o máximo de colunas necessárias para manipular os dados, armazenando as coisas em Col A e Col ZZ criam toneladas de colunas não utilizadas, em comparação apenas com Col A e Col B).
Tenha também cuidado com as funções Subtotal () que estão referenciando os dados que você está filtrando.
Por fim, considere desativar o recálculo automático. Veja como isso afeta as coisas. Você pode ter alguma outra fórmula que você esqueceu.
Mas ajudaria se você nos desse mais detalhes. 100k As linhas de dados são muito grandes para o Excel, mas honestamente, o número de colunas é importante. 2 colunas ou 20? Grandes diferenças quando você multiplica por 100k.