A menos que o roteador e o switch estejam corrompidos, eu diria que um dos dispositivos pode estar com defeito ou pelo menos uma causa para a conexão lenta. Antes dos switches serem introduzidos, os hubs de ethernet eram usados principalmente e, por design, poderiam influenciar a velocidade, já que cada pacote era transmitido para todos os dispositivos no hub.
Os switches, por outro lado, isolam o tráfego entre os dois dispositivos na rede. A velocidade de conexão real das portas também não deve ser um problema, já que você mencionou que é possível obter a velocidade máxima desejada ao conectar seu PC a uma das portas.
Os switches Ethernet não têm influência ou envolvimento no fato de qualquer dispositivo receber ou não um endereço IP; eles operam apenas na camada de endereço MAC. Você provavelmente tem um componente defeituoso em algum lugar da cadeia; ou um cabo ou porta Ethernet defeituoso, ou você configurou mal o seu roteador.
Talvez, por segurança, faça uma redefinição de fábrica no seu roteador e limpe a configuração. Que teste cada porta mais uma vez e veja se o problema ainda ocorre.