Você pode dar uma olhada em opções como:
- datasize [bytes]
- max-cache-size [bytes]
- tcp-clients [número]
- clientes-recursivos [número]
Estas são todas as opções globais que podem, na verdade, fazer com que seu servidor pare de responder ao atingir os limites, mas limitará a memória usada.
Para um exemplo do mundo real, com uma configuração de "max-cache-size 1M", minha instalação do BIND está usando apenas 30-35MB de memória (uptime 2 semanas, autoritativa para 9 zonas, tráfego leve).