Você provavelmente atingiu o número máximo de descritores de arquivos. Eu suponho que você esteja usando Linux e muitas distribuições configuram este ulimit para 1024 por padrão. Quando o RabbitMQ atinge esse limite, ele não pode aceitar mais conexões.
O site do RabbitMQ tem um artigo sobre quais parâmetros relacionados à rede você pode / deve ajustar, em particular como aumentar os descritores de arquivos ulimit .