Qualquer bom hacker irá falsificar a fonte, além de usar várias máquinas diferentes que só podem estar sob seu controle devido à segurança comprometida. Rastrear em reverso o endereço IP é quase sempre uma tarefa tola, a menos que você tenha uma influência significativa como hacker.
Eu mesmo não tenho uma solução, mas a maioria dos firewalls de software deve permitir regras que tipos específicos de conexões ou tentativas de conexão sejam descartadas. Como ainda é o software que lida com isso, inspecionando os pacotes de entrada e comparando-os com as regras, isso não eliminará totalmente a carga do servidor.
O que me leva ao último ponto: Por que você não está usando um firewall de hardware nessa configuração? Se este for um servidor que toca na internet pública, ele precisa de um dispositivo de firewall separado. Período.
ATUALIZE possibilidades adicionais: Dependendo do tipo de contrato que você tiver com o seu ISP, eles podem estar dispostos e / ou capazes (por um preço) de realizar serviços de inspeção de pacotes / modelagem de tráfego e firewall para você. Seus sistemas provavelmente são bem capazes disso. Os problemas seriam que você nunca veria se pacotes legítimos estavam sendo descartados. Isso é muito parecido com spam. Os melhores ataques DDoS são os que mais parecem tráfego legítimo. E se você começar a perder clientes ou contatos devido a regras de firewall excessivamente agressivas das quais você não tem controle direto (ou seja, regras no seu ISP), isso pode prejudicar mais do que o DDoS.
Se você absolutamente não pode usar um firewall de hardware, você deve pelo menos ligar para eles.