Você pode fazer algumas coisas.
No menu Project , procure "remover clipes não usados" ou algo semelhante.
Além disso, você pode criar um projeto recortado a partir desse arquivo também.
Eu também recomendaria, colocando os vídeos em um único arquivo de vídeo maior, para que o Premiere não precise acompanhar tantos arquivos internamente. Isso faz diferença na minha experiência.
Você também pode tentar aumentar seu "arquivo de paginação" se estiver no Windows.