ERRO PostgreSQL: não são permitidas mais conexões

Question

Como você libera as conexões do PostgreSQL que não estão sendo fechadas corretamente pelos aplicativos clientes?

Eu tenho um aplicativo de mineração de dados que gira vários processos, todos conectados a um banco de dados local do PostgreSQL 9.1 para recuperar dados. Funciona bem por algumas horas, mas depois morre com o erro:

FATAL:  remaining connection slots are reserved for non-replication superuser connections

A pesquisa mostra que isso é provavelmente causado pelo fato de o aplicativo não fechar corretamente suas conexões. No entanto, mesmo com o aplicativo morto, essas conexões nunca são liberadas. Não há algum tipo de tempo limite em que o PostgreSQL fechará automaticamente uma conexão?

Eu também tentei aumentar as max_connections do Postgres de 100 para 200, mas o reinício deu-me o erro:

2014-02-23 10:51:15 EST FATAL:  could not create shared memory segment: Invalid argument
2014-02-23 10:51:15 EST DETAIL:  Failed system call was shmget(key=5432001, size=36954112, 03600).
2014-02-23 10:51:15 EST HINT:  This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter.  You can either reduce the request size or reconfigure the kernel with larger SHMMAX.  To reduce the request size (currently 36954112 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
    If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter, in which case raising the request size or reconfiguring SHMMIN is called for.
    The PostgreSQL documentation contains more information about shared memory configuration.

Meu sistema é o Ubuntu 12.04 e tem 8GB de memória, e todas as outras configurações do PG são padrões, então não sei por que ele acha que o sistema não tem memória suficiente.

Eu então tentei usar o pgbouncer para agrupar e reutilizar as conexões. Isso pareceu funcionar um pouco melhor, mas mesmo isso acabou ficando sem conexões, me dando o erro:

ERROR:  no more connections allowed

Como faço para diagnosticar e corrigir ainda mais esse problema?

    

Answer 1

Você pode aumentar o número máximo de conexões alterando as configurações máximas de memória compartilhada. No entanto, se o problema é que suas conexões não estão sendo fechadas, você deve realmente resolver isso. Se o software estiver fora de seu controle e estiver com problemas por não fechar as conexões, você poderá usar algumas tarefas do cron como:

select pg_terminate_backend(procpid)
from pg_stat_activity
where usename = 'yourusername'
 and current_query = '<IDLE>'
 and query_start < current_timestamp - interval '5 minutes'
;

Isso é o que eu faço para matar vazamentos de conexões de um software semelhante a bugs.

Como alternativa, você pode executar seu software com bugs por meio de um conjunto de conexões que possui uma funcionalidade semelhante para eliminar conexões inativas, como o pgpool.

Observação : versões mais recentes do Postgres têm nomes de coluna ligeiramente diferentes:

select pg_terminate_backend(pid)
from pg_stat_activity
where usename = 'YOURDATABASEUSERNAME*'
 and state = 'idle'
 and query_start < current_timestamp - interval '5 minutes'
;

    

Answer 2

Para versões mais recentes do PostgreSQL:

select pg_terminate_backend(pid)
from pg_stat_activity
where usename = 'YOUR_DATABASE_USERNAME*'
 and state = 'idle'
 and query_start < current_timestamp - interval '5 minutes'
;

O texto acima ajudará você a encerrar suas conexões ociosas. Eu tive o mesmo problema, mas acabou por ser um problema com a minha maneira Flask e SQLAlchemy para se conectar ao banco de dados.

* usename não é um erro de digitação

    

Answer 3

documento PG sobre o gerenciamento de recursos do kernel. Isso deve ajudá-lo a aumentar o limite de memória no kernel.