Pense na sua rede como uma cadeia de ramificação de links.
Sua velocidade de conexão para um determinado dispositivo é tão rápida quanto o link mais lento para a WAN (no seu caso, o modem ISP).
Então, para a configuração que você descreveu, seu Xbox terá apenas 10/100 de velocidade (devido ao cat5 ser o link mais lento), mas qualquer coisa que possa trafegar até a WAN usando SOMENTE cat6 terá velocidades gigabit.
Além disso, você precisa levar em conta o roteador e alternar-se. se estiverem em portas 10/100, qualquer coisa que flua através dessa porta será limitada a velocidades 10/100.
Pessoalmente, eu substituiria tudo menos de 25 pés com cat5e ou gato 6, e qualquer coisa maior que 25 pés com cat6. Isso garantirá que tudo esteja funcionando em velocidades ideais. (cat5e é gigabit em distâncias curtas e um pouco mais barato que cat6.)
quanto a terminar as extremidades. Sim, cat6 e cat5 usam os mesmos conectores RJ-45, embora a ordem dos fios seja um pouco diferente. siga este diagrama para cat6.