Existem várias opções que você pode ajustar para economizar recursos do servidor relacionados à conexão. Veja esta página para algumas das opções e suas descrições. Além disso, veja a lista de referências no final dessa página:
man 7 ip
man 7 tcp
http://www.faqs.org/docs/securing/chap6sec70.html
http://man7.org/linux/man-pages/man7/ip.7.html
http://tldp.org/HOWTO/TCP-Keepalive-HOWTO/usingkeepalive.html
Você pode reduzir o tcp_fin_timeout para 20, já que isso está resolvendo um problema que surge no final de um tempo de vida / requisito de conexões. O mesmo acontece com o tcp_keepalive_time, se você reduzi-lo a um valor sensato e não muito baixo (digamos 600, quando usado com tcp_keepalive_intvl e tcp_keepalive_probes).
Não deve haver nenhum efeito negativo com o seu servidor Apache, pois o tráfego HTTP típico da Web é muito intermitente e de curta duração. A menos que um usuário esteja baixando um arquivo grande em um link com perda de pacotes muito alta, nesse caso, acessar seu site seria a menor das suas preocupações.
Se você acabou de ler as páginas do manual e os links, deve ficar bonito (qualquer confusão, poste uma pergunta aqui obviamente!).