importar dados para o Amazon RDS extremamente lento

Question

Eu preciso importar um banco de dados PostgresSql de um servidor antigo para um novo Amazon RDS.

Eu criei um arquivo db dump, conectei ao meu RDS via pgAdmin e comecei a importar o console pgAdmin ( \i dump_file.sql ).

Tudo parece funcionar, mas é realmente muito lento e parece estar preso na mesma linha por algumas horas. Eu abri o monitor RDS e vejo o seguinte:

Portanto, parece que existem operadores de gravação (mas por que tão poucos) e um pouco de uso da CPU, mas parece que está usando realmente um baixo percentual de sua capacidade. Também verifiquei o uso do disco em detalhes e o disco encolhe, então está realmente escrevendo, por exemplo, não está preso, apenas muito lento.

O que posso fazer para importar meu banco de dados mais rapidamente? porque é tão lento? por que usa tão pouca CPU e escreve operações?

Parece que o RDS não usa todo o seu potencial.

PS my DB tem aproximadamente 10 GB de tamanho.

    

Answer 1

A configuração padrão do postgresql não é boa para importação de dados em massa. A principal coisa que você precisa fazer antes de importar tantos dados é aumentar max_wal_size para reduzir o número de vezes que o postgresql precisará executar um ponto de verificação durante a importação. Além disso, se tiver certeza sobre a qualidade dos dados, importe-os em uma transação. Consulte o link para outras ideias (desative a replicação, desative os índices, desative os acionadores, use pg_restore --jobs X para paralelizar a importação)