Supondo que o modem seja um dispositivo PPPoE, provavelmente funcionaria. O switch alterna entre quadros Ethernet (Camada 2) e o roteador usa PPPoE para se comunicar com o modem. O PPPoE funciona via Ethernet (como o nome sugere) e parece usar seu próprio protocolo de descoberta para encontrar o endereço MAC do modem. deve ser capaz de coexistir com o IP em uma rede. Então, em teoria, se você conectasse a porta ethernet "modem" do roteador ao switch, e conectasse a porta ethernet "network" do roteador ao switch usando um segundo cabo, ele deveria funcionar. Note que você terá que conectar ambos a porta ethernet "network" e a porta ethernet "modem" ao switch. Teste antes de instalar, obviamente. Note que você pode ter que mexer em cabos crossover / crossover.
Não faz muito sentido, no entanto, e pode levar a vários problemas e questões de segurança (você quer que qualquer PC na rede seja capaz de estabelecer sessões PPPoE?). Em vez de executar o cabo "modem" do roteador para o switch e do switch para o modem, basta executá-lo diretamente do roteador para o modem. Se você estiver trabalhando com tomadas de parede, poderá conectar duas delas diretamente com um cabo em vez de usar um cabo para conectar o conector A a um comutador e o segundo conectar o comutador ao conector B.