Depende da velocidade de sua conexão com a Internet, mas é altamente improvável que a latência obtida na sua LAN ou a falta de largura de banda (especialmente a execução de gigabit em vez de CAT6) afete negativamente o tráfego que vai para a Internet probabilidade de pegar muito mais latência apenas pulando através do seu ISP.
Sua conexão com a Internet > 1GBps? Caso contrário, é improvável que você veja qualquer benefício (em termos de velocidade e latência) da instalação da fibra.