A quantidade de atraso é pequena demais para ser notada. Eu tenho 3 roteadores encadeados na minha casa e não tenho nenhum problema. Seu firewall DD-WRT ainda funcionará e protegerá você.
A única coisa que você não mencionou explicitamente foi se você desativou ou não o DHCP no modem / roteador. Eu acho que você quer seu DD-WRT para lidar com a gestão de endereços IP. De qualquer forma, você precisará desativar um dos dois para não ter conflitos.