Você precisa configurar o PPPOE no roteador e ter os dois PCs usando apenas uma configuração de rede básica (dhcp a lan).
Os PCs não se importam com o tipo de conexão e você só precisa da configuração PPPOE no lado do PC se não tiver um roteador.
EDITAR:
Com base nas informações adicionadas, a solução será fazer com que o roteador se conecte ao PPPOE. Talvez faça uma redefinição do orifício (redefina as configurações padrão de fábrica usando o botão rebaixado na parte traseira) e configure-o novamente.