Antes de começar com o meu ramble, eu quero apenas apontar uma coisa. Tenho certeza de que a maioria das pessoas concordará com isso, mas um sistema de mitigação de DDoS por hardware normalmente será mais rápido do que suas contrapartes de software. Você pode seguir a rota do hardware, mas, novamente, o software de mitigação de DDoS será um pouco mais econômico (e até gratuito). Eu não conheço a parte de hardware, bem como eu sei software, por isso não vou ficar divagando sobre o melhor hardware para proteção contra DDoS e todos.
Um sistema realmente fácil que você pode colocar em prática é o ConfigServer Security & Firewall ( link ). E com isso, você tem um controle um pouco mais fácil sobre o iptables e pode filtrar facilmente ataques SYN / ACK e flooding de portas.
Você também pode considerar alguns módulos DDoS para o Apache, como o mod_evasive ( link ) ou até mesmo configurar Nginx como um proxy reverso ( link ) para ajudar na mitigação de DDoS .
Espero que isso ajude um pouco. Eu sofri ataques DDoS antes e com alguns dos sistemas que eu pessoalmente tenho em funcionamento (como caching HTTP, proxy Nginx, CSF), é muito mais difícil para DDoS meus sites, pois pode filtrar uma boa parte do tráfego para fora. Tenha em mente que, se um grande botnet te atingir, você pode querer investir em um sistema DDoS de hardware. Quanto a como obter uma configuração no seu VPS, basta perguntar ao seu provedor. A maioria dos datacenters possui seus sistemas e ferramentas para evitar ataques DDoS; você só precisa pagar por isso.