Falta de SYN, o ACK geralmente indica que o software do servidor não accept da conexão. Isso pode ser devido a várias razões, provavelmente a exaustão de recursos de um tipo ou outro. Você poderia tentar strace do processo do servidor para ver se ele está no accept syscall, ou equivalentemente fazendo algum select ou poll com o soquete do servidor entre os descritores de arquivos para selecionar.