Se você estiver seguindo as práticas de segurança padrão, sua política de firewall padrão será bloquear tudo. Tudo o que você precisa fazer é escrever uma regra para permitir o tráfego tcp e udp para a porta 53 se você quiser permitir solicitações DNS de entrada.
O tráfego de que você está falando é UDP. UDP é sem estado. Isso significa que as pessoas interessadas em saturar sua conexão podem enviar os pacotes para o seu endereço, mesmo se você simplesmente os soltar. Ainda assim, você poderá fazer algo semi-útil com a correspondência recente do iptables, para permitir que apenas uma quantidade limitada de tráfego seja realmente aceita e processada pelo sistema. Evan tem um exemplo do uso deste para o SSH aqui. Podemos ter que ver toda a sua regra de firewall definida para informar quais regras devem ser adicionadas.
Se você tem um DoS sério contra o seu sistema, você quase certamente precisa do seu ISP para ajudá-lo, tentando lidar com uma inundação com um firewall baseado em host em um VPS realmente não será muito útil.
Se você ainda não o fez, considere configurar alguns servidores DNS secundários para suas zonas em uma rede completamente diferente.