Precisamos de mais informações para ajudar você de maneira eficaz.
O que você tem para net.ipv4.tcp_syncookies e net.ipv4.tcp_synack_retries? Mas antes disso você precisa entender o padrão do alto tráfego. Você está vendo muito TIME_WAIT no netstat? Que tipo de dados você já coletou? Qual servidor web você está executando? Pode haver configurações específicas para isso também para lidar com isso.
Aqui está uma boa visão geral que pode ajudá-lo com relação ao ajuste do tcp: link