Alguns clientes não fecham corretamente a conexão TCP quando terminam. Isso está fora de seu controle. Em geral, isso acaba depois de um tempo e não cria um problema muito grande, a não ser sobrecarregar a listagem obtida de netstat -an
e similares.
Então, por que você está tendo um problema com isso?
Isso pode ser pertinente: Quais limites o número máximo de conexões em um servidor Linux?