Tanto quanto eu posso encontrar, não há uma maneira de fazer isso sem remover o modelo. Como está vinculado, ele procurará o modelo todas as vezes.
Para melhorar o tempo de abertura, você pode tentar desativar as atualizações automáticas do modelo. Não posso garantir que vai ajudar, mas vale a pena tentar.
File > Options > Add-Ins > Manage: (at the bottom), select Templates, then click Go