Provavelmente, a melhor configuração é usar o modem apenas como um modem (no modo de ponte) e o roteador como um roteador. A exceção seria se você tivesse um modem que tivesse recursos comparáveis ao seu roteador.
A pior configuração é o dobro de NAT, onde o seu modem está roteando e o seu roteador também está roteando. Isso é horrível.
Você também pode usar seu modem como um roteador e usar seu roteador apenas como um switch e ponto de acesso. Para fazer isso, desligue o servidor DHCP do seu roteador e não use sua porta WAN / Internet.