Infelizmente, existem muitos links na cadeia que você está tentando diagnosticar. Algumas coisas a serem lembradas são que os servidores não têm velocidades de upload ilimitadas mais do que você e muitos (ime) ficam por volta de 20hs fora das Microsofts e Blizzards do mundo e sua experiência dependerá da carga atual do servidor. Dito isto, descobri que o Speedtest tende a dar resultados consistentes.
Eu não sei como o Google recebe os dados em sua casa, mas se a fibra não chegar até a sua casa, há uma chance de um gargalo fora do seu controle.
Você também deve sempre procurar por atualizações de firmware para o seu roteador, se ele não estiver funcionando tão bem quanto você gostaria. Você também deve ter certeza de que possui os drivers mais recentes para sua NIC.
Você pode considerar quantos dispositivos estão conectados ao seu roteador (XBox, telefone, tablet, latptop, TV, etc.). Talvez uma verificação de integridade seja remover temporariamente os outros dispositivos e usar apenas o laptop.
Você também pode considerar a mudança para a banda de 5GHz no roteador, pois geralmente menos dispositivos usarão esse espectro. Verifique a posição das antenas, pois isso realmente afeta a intensidade do sinal.