(movendo isto aqui do comentário) Um servidor usando cookies SYN deve ser robusto contra uma inundação SYN - se o seu servidor não está colapsando como esperado de um flood SYN, verifique se os cookies estão habilitados.
No uso de RAM, cada conexão pendente de fato requer RAM, mas você está atingindo um limite diferente (provavelmente tcp_max_syn_backlog
RAM já foi alocado para o backlog, então você está efetivamente negando serviço preenchendo o backlog).