Desativar extensões é o suficiente - uma extensão desativada é tão boa quanto não está presente. Ainda há um pequeno atraso de inicialização devido a essa extensão estar no banco de dados, mas é absolutamente insignificante (tentei medi-lo uma vez, mas ficou muito abaixo da variação de tempo de inicialização usual em meu sistema).