[A]m I correct that routers also often store DNS cache?
Alguns fazem, mas isso depende inteiramente do roteador, do firmware envolvido e das configurações atuais, se aplicável.
I'm assuming the ipconfig command doesn't flush the router[?]
Não, não.
[I'm assuming most] routers would flush their cache on a power cycle?
Mais uma vez, depende inteiramente do roteador e firmware envolvidos. Dito isto, provavelmente não seria um comportamento inesperado.
So does this mean if there's issues with an invalid DNS entry each intermediary router may [need] to be power cycled?
Poderia ser uma possibilidade, sim, pelo menos se você quiser que eles esqueçam imediatamente quaisquer entradas de cache (supondo que um ciclo de energia faria isso).
Se eles estivessem fazendo cache, também seria possível fazer login manualmente e limpar o cache.